85 lines
4.4 KiB
Python
85 lines
4.4 KiB
Python
"""
|
||
Использовать для своих данных метод кластеризации по варианту, самостоятельно сформулировав задачу.
|
||
Интерпретировать результаты и оценить, насколько хорошо он подходит для решения сформулированной вами задачи.
|
||
|
||
"""
|
||
|
||
"""
|
||
Задача, решаемая алгоритмом кластеризации:
|
||
Группировка музыкальных треков на основе их характеристик с целью создания кластеров треков
|
||
с схожими характеристиками. Алгоритм кластеризации может помочь в создании плейлистов и рекомендаций,
|
||
основанных на схожести музыкальных треков по некоторым характеристикам.
|
||
"""
|
||
|
||
# 12 вариант
|
||
# Набор данных по курсовой: "Prediction of music genre"
|
||
# Алгоритм кластеризации: linkage
|
||
|
||
|
||
|
||
import pandas as pd
|
||
from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
|
||
import matplotlib.pyplot as plt
|
||
|
||
|
||
|
||
DATASET_FILE = 'music_genre.csv'
|
||
|
||
|
||
def main():
|
||
df = open_dataset(DATASET_FILE)
|
||
df = df.sample(frac=.5) # отбираем 50% рандомных строк с набора данных, т.к. он большой
|
||
print("\033[92m[-----> Набор данных <-----]\033[00m")
|
||
print(df)
|
||
|
||
# Перевод жанров и ладов (минор/мажор) в числовые признаки
|
||
df_genres = pd.get_dummies(df['music_genre'])
|
||
df_modes = pd.get_dummies(df['mode'])
|
||
# Объединение основной таблицы с числовыми признаками
|
||
df_music = pd.concat([df, df_genres, df_modes], axis=1).reindex(df.index)
|
||
# Удаление строковых стоблцов, которые заменили на числовые признаки
|
||
df_music = df_music.drop(columns=['music_genre', 'mode'])
|
||
# Датасет для работы с кластеризацией (без исполнителя и названия трека)
|
||
X = df_music.drop(columns=['artist_name', 'track_name'])
|
||
|
||
# Иерархическая кластеризация с связью ward
|
||
# (минимизация суммы квадратов разностей во всех кластерах)
|
||
linkage_matrix = linkage(X, method='ward', metric='euclidean')
|
||
|
||
# Формирование кластеров из матрицы связей
|
||
cluster_label = fcluster(Z=linkage_matrix, t=300, criterion='distance')
|
||
# Присвоение кластера треку
|
||
df['cluster'] = cluster_label
|
||
# Установка опции показа 3 столбцов при выводе
|
||
pd.set_option('display.max_columns', 3)
|
||
# Вывод результата кластеризации
|
||
print("\033[92m\nЫ[-----> Результат иерархической кластеризации <-----]\033[00m")
|
||
print(df[['artist_name', 'track_name', 'cluster']].head(10))
|
||
print("\033[92mКоличество кластеров: {}\033[00m" .format(cluster_label.max()))
|
||
|
||
# Дендрограмма
|
||
plt.figure(figsize=(12, 6))
|
||
dendrogram(linkage_matrix, truncate_mode='lastp', p=20, leaf_rotation=90., leaf_font_size=8., show_contracted=True)
|
||
plt.title('Дендрограмма иерархической кластеризации музыкальных треков')
|
||
plt.xlabel('Количество треков в узле')
|
||
plt.ylabel('Евклидово расстояние между треками')
|
||
plt.savefig('1_dendrogram')
|
||
plt.show()
|
||
|
||
|
||
# Функция считывания и очищения csv-файла
|
||
def open_dataset(csv_file):
|
||
# открываем файл с указанием знака-отделителя
|
||
df = pd.read_csv(csv_file, delimiter=',')
|
||
# выбираем необходимые признаки
|
||
df = df[['artist_name', 'track_name', 'mode', 'tempo', 'instrumentalness', 'acousticness',
|
||
'speechiness', 'danceability', 'energy', 'liveness', 'valence', 'music_genre']]
|
||
# очищаем набор данных от пустых и неподходящих значений
|
||
df = df[df['tempo'] != '?']
|
||
df = df.dropna()
|
||
return df
|
||
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main() |