84 lines
3.9 KiB
Python
84 lines
3.9 KiB
Python
|
import numpy as np
|
|||
|
|
import pandas as pd
|
|||
|
|
from sklearn.linear_model import LinearRegression
|
|||
|
|
from sklearn.feature_selection import RFE
|
|||
|
|
from sklearn.ensemble import RandomForestRegressor
|
|||
|
|
from sklearn.preprocessing import MinMaxScaler
|
|||
|
|
|
|||
|
|
# Используя код из [1](пункт «Решение задачи ранжирования признаков», стр. 205),
|
|||
|
|
# выполните ранжирование признаков с помощью указанных по варианту моделей.
|
|||
|
|
# Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку.
|
|||
|
|
# Проведите анализ получившихся результатов.
|
|||
|
|
# Какие четыре признака оказались самыми важными по среднему значению?
|
|||
|
|
# (Названия\индексы признаков и будут ответом на задание).
|
|||
|
|
|
|||
|
|
# Линейная регрессия (LinearRegression)
|
|||
|
|
# Рекурсивное сокращение признаков (Recursive Feature Elimination –RFE),
|
|||
|
|
# Сокращение признаков Случайными деревьями (Random Forest Regressor)
|
|||
|
|
|
|||
|
|
# Модели
|
|||
|
|
model_LR = LinearRegression()
|
|||
|
|
model_RFE = RFE(LinearRegression(), n_features_to_select=1)
|
|||
|
|
model_RFR = RandomForestRegressor()
|
|||
|
|
|
|||
|
|
# Оценки моделей
|
|||
|
|
model_scores = {}
|
|||
|
|
|
|||
|
|
# Cлучайные данные для регрессии
|
|||
|
|
def generation_data_and_start():
|
|||
|
|
np.random.seed(0)
|
|||
|
|
size = 750
|
|||
|
|
X_ = np.random.uniform(0, 1, (size, 14))
|
|||
|
|
y_ = (10 * np.sin(np.pi * X_[:, 0] * X_[:, 1]) + 20 * (X_[:, 2] - .5) ** 2 +
|
|||
|
|
10 * X_[:, 3] + 5 * X_[:, 4] ** 5 + np.random.normal(0, 1))
|
|||
|
|
X_[:, 10:] = X_[:, :4] + np.random.normal(0, .025, (size, 4))
|
|||
|
|
|
|||
|
|
# DataFrame для данных
|
|||
|
|
data = pd.DataFrame(X_)
|
|||
|
|
data['y'] = y_
|
|||
|
|
|
|||
|
|
models_study_and_scores(data.drop('y', axis=1), data['y'])
|
|||
|
|
print_scores()
|
|||
|
|
|
|||
|
|
# Обучение и оценка моделей
|
|||
|
|
def models_study_and_scores(X, y):
|
|||
|
|
|
|||
|
|
# Линейная регрессия
|
|||
|
|
model_LR.fit(X, y)
|
|||
|
|
# Нормализация коэффициентов признаков
|
|||
|
|
norm_coef = MinMaxScaler().fit_transform(np.abs(model_LR.coef_).reshape(-1, 1))
|
|||
|
|
model_scores["Линейная регрессия"] = norm_coef.flatten()
|
|||
|
|
|
|||
|
|
# Рекурсивное сокращение признаков
|
|||
|
|
model_RFE.fit(X, y)
|
|||
|
|
# Нормализация рангов
|
|||
|
|
norm_rank = 1 - (model_RFE.ranking_ - 1) / (np.max(model_RFE.ranking_) - 1)
|
|||
|
|
model_scores["Рекурсивное сокращение признаков"] = norm_rank
|
|||
|
|
|
|||
|
|
# Сокращение признаков Случайными деревьями
|
|||
|
|
model_RFR.fit(X, y)
|
|||
|
|
# Нормализация значений важности признаков
|
|||
|
|
norm_imp = MinMaxScaler().fit_transform(model_RFR.feature_importances_.reshape(-1, 1))
|
|||
|
|
model_scores["Сокращение признаков Случайными деревьями"] = norm_imp.flatten()
|
|||
|
|
|
|||
|
|
# Вывод оценок
|
|||
|
|
def print_scores():
|
|||
|
|
print()
|
|||
|
|
print(f"---- Оценки признаков ----")
|
|||
|
|
print()
|
|||
|
|
for name, scores in model_scores.items():
|
|||
|
|
print(f"{name}:")
|
|||
|
|
for feature, score in enumerate(scores, start=1):
|
|||
|
|
print(f"Признак №{feature}: {score:.3f}")
|
|||
|
|
print(f"Средняя оценка признаков: {np.mean(scores):.3f}")
|
|||
|
|
print()
|
|||
|
|
|
|||
|
|
# 4 наиболее важных признака по среднему значению
|
|||
|
|
scores = np.mean(list(model_scores.values()), axis=0)
|
|||
|
|
sorted_f = sorted(enumerate(scores, start=1), key=lambda x: x[1], reverse=True)
|
|||
|
|
imp_features = sorted_f[:4]
|
|||
|
|
print("Четыре наиболее важных признака:")
|
|||
|
|
for f, score in imp_features:
|
|||
|
|
print(f"Признак №{f}: {score:.3f}")
|
|||
|
|
|
|||
|
|
generation_data_and_start()
|