76 lines
4.6 KiB
Python
76 lines
4.6 KiB
Python
|
import numpy as np
|
|||
|
|
import pandas as pd
|
|||
|
|
from sklearn.datasets import make_regression
|
|||
|
|
from sklearn.linear_model import LinearRegression
|
|||
|
|
from sklearn.feature_selection import RFE
|
|||
|
|
from sklearn.ensemble import RandomForestRegressor
|
|||
|
|
from sklearn.preprocessing import MinMaxScaler
|
|||
|
|
|
|||
|
|
# Используя код из [1](пункт «Решение задачи ранжирования признаков», стр. 205), выполните ранжирование признаков
|
|||
|
|
# с помощью указанных по варианту моделей. Отобразите получившиеся значения\оценки каждого признака каждым
|
|||
|
|
# методом\моделью и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались
|
|||
|
|
# самыми важными по среднему значению? (Названия\индексы признаков и будут ответом на задание).
|
|||
|
|
|
|||
|
|
# Линейная регрессия (LinearRegression), Рекурсивное сокращение признаков (Recursive Feature Elimination –RFE),
|
|||
|
|
# Сокращение признаков Случайными деревьями (Random Forest Regressor)
|
|||
|
|
random_state = np.random.RandomState(2)
|
|||
|
|
|
|||
|
|
# Генерация случайных данных для регрессии
|
|||
|
|
X, y = make_regression(n_samples=100, n_features=10, noise=0.1, random_state=random_state)
|
|||
|
|
|
|||
|
|
# Создание DataFrame для данных
|
|||
|
|
data = pd.DataFrame(X, columns=[f'признак_{i}' for i in range(X.shape[1])])
|
|||
|
|
data['целевая_переменная'] = y
|
|||
|
|
|
|||
|
|
# Разделение данных на признаки (X) и целевую переменную (y)
|
|||
|
|
X = data.drop('целевая_переменная', axis=1)
|
|||
|
|
y = data['целевая_переменная']
|
|||
|
|
|
|||
|
|
# Создаем модели
|
|||
|
|
models = [
|
|||
|
|
("Линейная регрессия", LinearRegression()),
|
|||
|
|
("Рекурсивное сокращение признаков", RFE(LinearRegression(), n_features_to_select=1)),
|
|||
|
|
("Сокращение признаков Случайными деревьями", RandomForestRegressor())
|
|||
|
|
]
|
|||
|
|
|
|||
|
|
# Словарь для хранения оценок каждой модели
|
|||
|
|
model_scores = {}
|
|||
|
|
|
|||
|
|
# Обучение и оценка моделей
|
|||
|
|
for name, model in models:
|
|||
|
|
model.fit(X, y)
|
|||
|
|
if name == "Рекурсивное сокращение признаков":
|
|||
|
|
# RFE возвращает ранжирование признаков
|
|||
|
|
rankings = model.ranking_
|
|||
|
|
# Нормализация рангов так, чтобы они находились в диапазоне от 0 до 1
|
|||
|
|
normalized_rankings = 1 - (rankings - 1) / (np.max(rankings) - 1)
|
|||
|
|
model_scores[name] = normalized_rankings
|
|||
|
|
elif name == "Сокращение признаков Случайными деревьями":
|
|||
|
|
# Важность признаков для RandomForestRegressor
|
|||
|
|
feature_importances = model.feature_importances_
|
|||
|
|
# Нормализация значений важности признаков в диапазоне от 0 до 1
|
|||
|
|
normalized_importances = MinMaxScaler().fit_transform(feature_importances.reshape(-1, 1))
|
|||
|
|
model_scores[name] = normalized_importances.flatten()
|
|||
|
|
elif name == "Линейная регрессия":
|
|||
|
|
# Коэффициенты признаков для Linear Regression
|
|||
|
|
coefficients = model.coef_
|
|||
|
|
# Нормализация коэффициентов так, чтобы они находились в диапазоне от 0 до 1
|
|||
|
|
normalized_coefficients = MinMaxScaler().fit_transform(np.abs(coefficients).reshape(-1, 1))
|
|||
|
|
model_scores[name] = normalized_coefficients.flatten()
|
|||
|
|
|
|||
|
|
# Вывод оценок каждой модели
|
|||
|
|
for name, scores in model_scores.items():
|
|||
|
|
print(f"{name} оценки признаков:")
|
|||
|
|
for feature, score in enumerate(scores, start=1):
|
|||
|
|
print(f"Признак {feature}: {score:.2f}")
|
|||
|
|
print(f"Средняя оценка: {np.mean(scores):.2f}")
|
|||
|
|
print()
|
|||
|
|
|
|||
|
|
# Находим четыре наиболее важных признака по средней оценке
|
|||
|
|
all_feature_scores = np.mean(list(model_scores.values()), axis=0)
|
|||
|
|
sorted_features = sorted(enumerate(all_feature_scores, start=1), key=lambda x: x[1], reverse=True)
|
|||
|
|
top_features = sorted_features[:4]
|
|||
|
|
print("Четыре наиболее важных признака:")
|
|||
|
|
for feature, score in top_features:
|
|||
|
|
print(f"Признак {feature}: {score:.2f}")
|