лаба 3 реади1
This commit is contained in:
DmitriyAntonov
parent
401a5454ee
commit
8c47411bf1
@ -1,104 +0,0 @@
|
|||||||
# Лаб 2
|
|
||||||
|
|
||||||
Ранжирование признаков
|
|
||||||
|
|
||||||
Используя код из (пункт «Решение задачи ранжирования признаков», стр. 205),
|
|
||||||
выполните ранжирование признаков с помощью указанных по варианту моделей.
|
|
||||||
Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку.
|
|
||||||
Проведите анализ получившихся результатов.
|
|
||||||
Какие четыре признака оказались самыми важными по среднему значению?
|
|
||||||
(Названия\индексы признаков и будут ответом на задание).
|
|
||||||
|
|
||||||
# Вариант 3
|
|
||||||
|
|
||||||
Данные: make_classification (n_samples=500, n_features=2,
|
|
||||||
n_redundant=0, n_informative=2, random_state=rs, n_clusters_per_class=1)
|
|
||||||
|
|
||||||
# Запуск
|
|
||||||
|
|
||||||
Выполнением скрипта файла (вывод в консоль + рисует графики).
|
|
||||||
|
|
||||||
# Модели:
|
|
||||||
|
|
||||||
1. Линейная регрессия
|
|
||||||
1. Полиномиальная регрессия (со степенью 3)
|
|
||||||
1. Гребневая полиномиальная регрессия (со степенью 3, alpha = 1.0)
|
|
||||||
|
|
||||||
# Графики
|
|
||||||
|
|
||||||
<div>
|
|
||||||
Качество каждой модели может быть оценено на основе среднеквадратичной ошибки (MSE).
|
|
||||||
Более низкая MSE указывает на лучшее соответствие данным.
|
|
||||||
Однако выбор модели зависит от набора данных и лежащей в основе взаимосвязи между объектами и целевой переменной.
|
|
||||||
|
|
||||||
Линейная регрессия: Линейная регрессия предполагает линейную зависимость между признаками и целевой переменной.
|
|
||||||
Это хорошо работает, когда взаимосвязь линейна, а шум в наборе данных минимален.
|
|
||||||
Лучше всего сработала на наборе лун. Хуже всего на кругах.
|
|
||||||
На линейном наборе показала себя на равне с остальными.
|
|
||||||
|
|
||||||
Полиномиальная и гребневая показали примерно одинаково на всех наборах.
|
|
||||||
|
|
||||||
Полиномиальная регрессия (степень=3):
|
|
||||||
Полиномиальная регрессия обеспечивает более гибкую подгонку за счет полинома более высокого порядка(кубическая кривая).
|
|
||||||
Она может выявить более сложные взаимосвязи между объектами и целевой переменной.
|
|
||||||
Она может сработать лучше, чем линейная регрессия, если истинная взаимосвязь нелинейна.
|
|
||||||
|
|
||||||
Гребневая регрессия (степень= 3, альфа=1,0):
|
|
||||||
В случае полиномиальной регрессии с регуляризацией (альфа=1,0) модель добавляет коэффициент регуляризации
|
|
||||||
для управления сложностью обучения. Регуляризация помогает предотвратить переобучение, когда набор
|
|
||||||
данных содержит шум или когда он ограничен.
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<p>
|
|
||||||
<div>Набор лун (moon_dataset)</div>
|
|
||||||
<img src="screens/myplot1.png" width="650" title="датасет 1">
|
|
||||||
</p>
|
|
||||||
<p>
|
|
||||||
<div>Графики регрессии</div>
|
|
||||||
<img src="screens/myplot2.png" width="450" title="линейная модель">
|
|
||||||
<img src="screens/myplot3.png" width="450" title="полиномиальная модель">
|
|
||||||
<img src="screens/myplot4.png" width="450" title="гребневая модель">
|
|
||||||
<div>
|
|
||||||
Линейная MSE: 0.0936
|
|
||||||
Полиномиальная (degree=3) MSE: 0.0674
|
|
||||||
Гребневая (degree=3, alpha=1.0) MSE: 0.0682
|
|
||||||
</div>
|
|
||||||
</p>
|
|
||||||
|
|
||||||
<p>
|
|
||||||
<div>Набор кругов (circles_dataset)</div>
|
|
||||||
<img src="screens/myplot5.png" width="650" title="датасет 2">
|
|
||||||
</p>
|
|
||||||
<p>
|
|
||||||
<div>Графики регрессии</div>
|
|
||||||
<img src="screens/myplot6.png" width="450" title="линейная модель">
|
|
||||||
<img src="screens/myplot7.png" width="450" title="полиномиальная модель">
|
|
||||||
<img src="screens/myplot8.png" width="450" title="гребневая модель">
|
|
||||||
<div>
|
|
||||||
Линейная MSE: 0.2684
|
|
||||||
Полиномиальная (degree=3) MSE: 0.1341
|
|
||||||
Гребневая (degree=3, alpha=1.0) MSE: 0.1312
|
|
||||||
</div>
|
|
||||||
</p>
|
|
||||||
|
|
||||||
<p>
|
|
||||||
<div>Набор линейный (linearly_dataset)</div>
|
|
||||||
<img src="screens/myplot9.png" width="650" title="датасет 3">
|
|
||||||
</p>
|
|
||||||
<p>
|
|
||||||
<div>Графики регрессии</div>
|
|
||||||
<img src="screens/myplot10.png" width="450" title="линейная модель">
|
|
||||||
<img src="screens/myplot11.png" width="450" title="полиномиальная модель">
|
|
||||||
<img src="screens/myplot12.png" width="450" title="гребневая модель">
|
|
||||||
<div>
|
|
||||||
Линейная MSE: 0.1101
|
|
||||||
Полиномиальная (degree=3) MSE: 0.1045
|
|
||||||
Гребневая (degree=3, alpha=1.0) MSE: 0.1078
|
|
||||||
</div>
|
|
||||||
</p>
|
|
||||||
|
|
||||||
<div>
|
|
||||||
Итоговая модель подбирается учитывая зависимость в данных,
|
|
||||||
как правило полиномиальная регрессия справляется лучше, а коэф регуляризации в гребневой регрессии помогает избежать
|
|
||||||
переобучения.
|
|
||||||
</div>
|
|
||||||
@ -1,50 +0,0 @@
|
|||||||
import numpy as np
|
|
||||||
from sklearn.datasets import make_regression
|
|
||||||
from sklearn.feature_selection import RFECV, f_regression
|
|
||||||
from sklearn.linear_model import LinearRegression
|
|
||||||
from sklearn.ensemble import RandomForestRegressor
|
|
||||||
|
|
||||||
# генерируем исходные данные: 100 строк-наблюдений и 10 столбцов-признаков
|
|
||||||
X, y = make_regression(n_samples=100, n_features=10, random_state=42)
|
|
||||||
|
|
||||||
# линейная модель
|
|
||||||
linear_reg = LinearRegression()
|
|
||||||
linear_reg.fit(X, y)
|
|
||||||
linear_ranking_lr = np.abs(linear_reg.coef_)
|
|
||||||
|
|
||||||
# cокращение признаков cлучайными деревьями (Random Forest Regressor)
|
|
||||||
rf_reg = RandomForestRegressor()
|
|
||||||
rfecv = RFECV(estimator=rf_reg)
|
|
||||||
rfecv.fit(X, y)
|
|
||||||
rfecv_ranking = rfecv.ranking_
|
|
||||||
|
|
||||||
# линейная корреляция (f_regression)
|
|
||||||
f_reg, _ = f_regression(X, y)
|
|
||||||
linear_corr_ranking = f_reg
|
|
||||||
|
|
||||||
# ранжирование признаков и вычисление средней оценки
|
|
||||||
all_rankings = np.vstack((linear_ranking_lr, rfecv_ranking, linear_corr_ranking))
|
|
||||||
average_ranking = np.mean(all_rankings, axis=0)
|
|
||||||
|
|
||||||
# средние показатели четырех наиболее важных характеристик
|
|
||||||
most_important_indices = np.argsort(average_ranking)[-4:]
|
|
||||||
|
|
||||||
# результаты
|
|
||||||
print("ранги линейной модели:")
|
|
||||||
print(linear_ranking_lr)
|
|
||||||
print("")
|
|
||||||
|
|
||||||
print("ранги после сокращения признаков Random Forest:")
|
|
||||||
print(rfecv_ranking)
|
|
||||||
print("")
|
|
||||||
|
|
||||||
print("ранги линейнейной корреляции (f_regression):")
|
|
||||||
print(linear_corr_ranking)
|
|
||||||
print("")
|
|
||||||
|
|
||||||
print("ранги по средней оценке:")
|
|
||||||
print(average_ranking)
|
|
||||||
print("")
|
|
||||||
|
|
||||||
print("4 выделенных главных признака:")
|
|
||||||
print(most_important_indices)
|
|
||||||
@ -1,71 +0,0 @@
|
|||||||
from operator import itemgetter
|
|
||||||
|
|
||||||
from sklearn.feature_selection import f_regression
|
|
||||||
from sklearn.linear_model import LinearRegression, Ridge, Lasso
|
|
||||||
from sklearn.preprocessing import MinMaxScaler
|
|
||||||
import numpy as np
|
|
||||||
|
|
||||||
# генерируем исходные данные: 750 строк-наблюдений и 14 столбцов-признаков
|
|
||||||
np.random.seed(0)
|
|
||||||
size = 750
|
|
||||||
X = np.random.uniform(0, 1, (size, 14))
|
|
||||||
# Задаем функцию-выход: регрессионную проблему Фридмана
|
|
||||||
Y = (10 * np.sin(np.pi * X[:, 0] * X[:, 1]) + 20 * (X[:, 2] - .5) ** 2 +
|
|
||||||
10 * X[:, 3] + 5 * X[:, 4] ** 5 + np.random.normal(0, 1))
|
|
||||||
# Добавляем зависимость признаков
|
|
||||||
X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4))
|
|
||||||
|
|
||||||
# линейная модель
|
|
||||||
lr = LinearRegression()
|
|
||||||
lr.fit(X, Y)
|
|
||||||
# гребневая модель
|
|
||||||
ridge = Ridge(alpha=7)
|
|
||||||
ridge.fit(X, Y)
|
|
||||||
# Лассо
|
|
||||||
lasso = Lasso(alpha=.05)
|
|
||||||
lasso.fit(X, Y)
|
|
||||||
|
|
||||||
names = ["x%s" % i for i in range(1, 15)]
|
|
||||||
|
|
||||||
|
|
||||||
def rank_to_dict(ranks, names):
|
|
||||||
ranks = np.abs(ranks)
|
|
||||||
minmax = MinMaxScaler()
|
|
||||||
ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel()
|
|
||||||
ranks = map(lambda x: round(x, 2), ranks)
|
|
||||||
return dict(zip(names, ranks))
|
|
||||||
|
|
||||||
|
|
||||||
ranks = {}
|
|
||||||
ranks["Linear reg"] = rank_to_dict(lr.coef_, names)
|
|
||||||
ranks["Ridge"] = rank_to_dict(ridge.coef_, names)
|
|
||||||
ranks["Lasso"] = rank_to_dict(lasso.coef_, names)
|
|
||||||
|
|
||||||
# Создаем пустой список для данных
|
|
||||||
mean = {}
|
|
||||||
# «Бежим» по списку ranks
|
|
||||||
for key, value in ranks.items():
|
|
||||||
# «Пробегаемся» по списку значений ranks, которые являются парой имя:оценка
|
|
||||||
for item in value.items():
|
|
||||||
# имя будет ключом для нашего mean
|
|
||||||
# если элемента с текущим ключем в mean нет - добавляем
|
|
||||||
if item[0] not in mean:
|
|
||||||
mean[item[0]] = 0
|
|
||||||
# суммируем значения по каждому ключу-имени признака
|
|
||||||
mean[item[0]] += item[1]
|
|
||||||
# находим среднее по каждому признаку
|
|
||||||
for key, value in mean.items():
|
|
||||||
res = value / len(ranks)
|
|
||||||
mean[key] = round(res, 2)
|
|
||||||
# сортируем и распечатываем список
|
|
||||||
mean = sorted(mean.items(), key=itemgetter(1), reverse=True)
|
|
||||||
print("MEAN")
|
|
||||||
print(mean)
|
|
||||||
|
|
||||||
for key, value in ranks.items():
|
|
||||||
ranks[key] = sorted(value.items(), key=itemgetter(1), reverse=True)
|
|
||||||
for key, value in ranks.items():
|
|
||||||
print(key)
|
|
||||||
print(value)
|
|
||||||
|
|
||||||
f, pval = f_regression(X, Y, center=True)
|
|
||||||
Loading…
Reference in New Issue
Block a user