97 lines
5.8 KiB
Python
97 lines
5.8 KiB
Python
import pandas as pd
|
||
import numpy as np
|
||
from matplotlib import pyplot as plt
|
||
from sklearn import metrics
|
||
from sklearn.cluster import DBSCAN
|
||
from sklearn.linear_model import LinearRegression
|
||
|
||
filein = "P:\\ULSTU\\ИИС\\Datasets\\heart_2020_norm.csv"
|
||
fileout = "P:\\ULSTU\\ИИС\\Datasets\\heart_2020_classified.csv"
|
||
|
||
|
||
# Метод устранения шумов и кластеризации данных алгоритмом DBSCAN
|
||
def dbscan():
|
||
df = pd.read_csv(filein, sep=',').iloc[0:10000] # Считывание датасета
|
||
x = df.drop("HeartDisease", axis=1) # Определение кластеризуемых параметров
|
||
|
||
eps_opt = (x.max().values.mean() + x.min().values.mean()) / 2 # Рассчёт опционального радиуса окрестности методом средней плотности
|
||
|
||
developed_data = [] # Подбор значения минимального количества точек в окрестности
|
||
for i in range(len(x)): # - Начинаем с одной точки
|
||
if i == 0:
|
||
continue # - Увеличиваем значение кол-ва точек на 1
|
||
dbscan = DBSCAN(eps=eps_opt, min_samples=i) # - Обучаем модель и получаем массив кластеров
|
||
clusters = dbscan.fit_predict(x.values)
|
||
if len(set(clusters)) <= 7: # - Прекращаем увеличивать значение точек, если кол-во кластеров уменьшилось до требуемого
|
||
developed_data = clusters
|
||
break
|
||
if list(clusters).count(-1) / len(clusters) >= 0.1: # - Или если "шум" превышает 10% от данных
|
||
developed_data = clusters
|
||
break
|
||
|
||
make_plot(x, developed_data)
|
||
df["DBSCAN"] = developed_data
|
||
df.to_csv(fileout, index=False) # Сохраняем полученные кластеры как доп. столбец датасета
|
||
|
||
|
||
# Метод оценки эффективности кластеризации DBSCAN
|
||
def linear_reg(): # Создаём две выборки данных
|
||
df = pd.read_csv(fileout, sep=',') # В 1й избавляемся от "шумов" и используем столбец кластеров как признак
|
||
df_mod = df.loc[df["DBSCAN"] != -1]
|
||
x_train_mod = df_mod.drop("HeartDisease", axis=1).iloc[0:round(len(df) / 100 * 99)]
|
||
y_train_mod = df_mod["HeartDisease"].iloc[0:round(len(df) / 100 * 99)]
|
||
x_test_mod = df_mod.drop("HeartDisease", axis=1).iloc[round(len(df) / 100 * 99):len(df)]
|
||
y_test_mod = df_mod["HeartDisease"].iloc[round(len(df) / 100 * 99):len(df)]
|
||
# Во 2й оставляем обычные данные
|
||
x_train = df.drop(["HeartDisease", "DBSCAN"], axis=1).iloc[0:round(len(df) / 100 * 99)]
|
||
y_train = df["HeartDisease"].iloc[0:round(len(df) / 100 * 99)]
|
||
x_test = df.drop(["HeartDisease", "DBSCAN"], axis=1).iloc[round(len(df) / 100 * 99):len(df)]
|
||
y_test = df["HeartDisease"].iloc[round(len(df) / 100 * 99):len(df)]
|
||
|
||
lr_mod = LinearRegression() # Обучаем модель без "шума" и с признаком кластеров
|
||
lr_mod.fit(x_train_mod.values, y_train_mod.values)
|
||
y_mod_pred = lr_mod.predict(x_test_mod.values)
|
||
err = pred_errors(y_mod_pred, y_test_mod.values)
|
||
make_plots(y_test_mod.values, y_mod_pred, err[0], err[1], "Регрессия с кластеризацией dbscan")
|
||
|
||
lr = LinearRegression() # Обучаем модель на исходных данных
|
||
lr.fit(x_train.values, y_train.values)
|
||
y_pred = lr.predict(x_test.values)
|
||
err = pred_errors(y_pred, y_test.values)
|
||
make_plots(y_test.values, y_pred, err[0], err[1], "Чистая линейная регрессия")
|
||
|
||
|
||
# Метод рассчёта ошибок
|
||
def pred_errors(y_predict, y_test):
|
||
mid_square = np.round(np.sqrt(metrics.mean_squared_error(y_test, y_predict)),3) # Рассчёт среднеквадратичной ошибки модели
|
||
det_kp = np.round(metrics.r2_score (y_test, y_predict), 2) # Рассчёт коэфициента детерминации модели
|
||
return mid_square, det_kp
|
||
|
||
|
||
# Метод отрисовки графиков
|
||
def make_plots(y_test, y_predict, mid_sqrt, det_kp, title):
|
||
plt.plot(y_test, c="red", label="\"y\" исходная") # Создание графика исходной функции
|
||
plt.plot(y_predict, c="green", label="\"y\" предсказанная \n"
|
||
"Ср^2 = " + str(mid_sqrt) + "\n"
|
||
"Кд = " + str(det_kp)) # Создание графика предсказанной функции
|
||
plt.legend(loc='lower left')
|
||
plt.title(title)
|
||
plt.savefig('static/' + title + '.png')
|
||
plt.close()
|
||
|
||
|
||
# Метод построения графика кластеризации
|
||
def make_plot(x, c):
|
||
plt.scatter(x.values[:, 0], x.values[:, 13], c=c, cmap='viridis')
|
||
plt.xlabel('BMI')
|
||
plt.ylabel('SleepTime')
|
||
plt.colorbar()
|
||
plt.title('DBSCAN Clustering')
|
||
plt.savefig('static/dbscan.png')
|
||
plt.close()
|
||
|
||
|
||
if __name__ == '__main__':
|
||
dbscan()
|
||
linear_reg()
|