104 lines
5.9 KiB
Markdown
104 lines
5.9 KiB
Markdown
|
# Лаб 2
|
|||
|
|
|
|||
|
|
Ранжирование признаков
|
|||
|
|
|
|||
|
|
Используя код из (пункт «Решение задачи ранжирования признаков», стр. 205),
|
|||
|
|
выполните ранжирование признаков с помощью указанных по варианту моделей.
|
|||
|
|
Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку.
|
|||
|
|
Проведите анализ получившихся результатов.
|
|||
|
|
Какие четыре признака оказались самыми важными по среднему значению?
|
|||
|
|
(Названия\индексы признаков и будут ответом на задание).
|
|||
|
|
|
|||
|
|
# Вариант 3
|
|||
|
|
|
|||
|
|
Данные: make_classification (n_samples=500, n_features=2,
|
|||
|
|
n_redundant=0, n_informative=2, random_state=rs, n_clusters_per_class=1)
|
|||
|
|
|
|||
|
|
# Запуск
|
|||
|
|
|
|||
|
|
Выполнением скрипта файла (вывод в консоль + рисует графики).
|
|||
|
|
|
|||
|
|
# Модели:
|
|||
|
|
|
|||
|
|
1. Линейная регрессия
|
|||
|
|
1. Полиномиальная регрессия (со степенью 3)
|
|||
|
|
1. Гребневая полиномиальная регрессия (со степенью 3, alpha = 1.0)
|
|||
|
|
|
|||
|
|
# Графики
|
|||
|
|
|
|||
|
|
<div>
|
|||
|
|
Качество каждой модели может быть оценено на основе среднеквадратичной ошибки (MSE).
|
|||
|
|
Более низкая MSE указывает на лучшее соответствие данным.
|
|||
|
|
Однако выбор модели зависит от набора данных и лежащей в основе взаимосвязи между объектами и целевой переменной.
|
|||
|
|
|
|||
|
|
Линейная регрессия: Линейная регрессия предполагает линейную зависимость между признаками и целевой переменной.
|
|||
|
|
Это хорошо работает, когда взаимосвязь линейна, а шум в наборе данных минимален.
|
|||
|
|
Лучше всего сработала на наборе лун. Хуже всего на кругах.
|
|||
|
|
На линейном наборе показала себя на равне с остальными.
|
|||
|
|
|
|||
|
|
Полиномиальная и гребневая показали примерно одинаково на всех наборах.
|
|||
|
|
|
|||
|
|
Полиномиальная регрессия (степень=3):
|
|||
|
|
Полиномиальная регрессия обеспечивает более гибкую подгонку за счет полинома более высокого порядка(кубическая кривая).
|
|||
|
|
Она может выявить более сложные взаимосвязи между объектами и целевой переменной.
|
|||
|
|
Она может сработать лучше, чем линейная регрессия, если истинная взаимосвязь нелинейна.
|
|||
|
|
|
|||
|
|
Гребневая регрессия (степень= 3, альфа=1,0):
|
|||
|
|
В случае полиномиальной регрессии с регуляризацией (альфа=1,0) модель добавляет коэффициент регуляризации
|
|||
|
|
для управления сложностью обучения. Регуляризация помогает предотвратить переобучение, когда набор
|
|||
|
|
данных содержит шум или когда он ограничен.
|
|||
|
|
</div>
|
|||
|
|
|
|||
|
|
<p>
|
|||
|
|
<div>Набор лун (moon_dataset)</div>
|
|||
|
|
<img src="screens/myplot1.png" width="650" title="датасет 1">
|
|||
|
|
</p>
|
|||
|
|
<p>
|
|||
|
|
<div>Графики регрессии</div>
|
|||
|
|
<img src="screens/myplot2.png" width="450" title="линейная модель">
|
|||
|
|
<img src="screens/myplot3.png" width="450" title="полиномиальная модель">
|
|||
|
|
<img src="screens/myplot4.png" width="450" title="гребневая модель">
|
|||
|
|
<div>
|
|||
|
|
Линейная MSE: 0.0936
|
|||
|
|
Полиномиальная (degree=3) MSE: 0.0674
|
|||
|
|
Гребневая (degree=3, alpha=1.0) MSE: 0.0682
|
|||
|
|
</div>
|
|||
|
|
</p>
|
|||
|
|
|
|||
|
|
<p>
|
|||
|
|
<div>Набор кругов (circles_dataset)</div>
|
|||
|
|
<img src="screens/myplot5.png" width="650" title="датасет 2">
|
|||
|
|
</p>
|
|||
|
|
<p>
|
|||
|
|
<div>Графики регрессии</div>
|
|||
|
|
<img src="screens/myplot6.png" width="450" title="линейная модель">
|
|||
|
|
<img src="screens/myplot7.png" width="450" title="полиномиальная модель">
|
|||
|
|
<img src="screens/myplot8.png" width="450" title="гребневая модель">
|
|||
|
|
<div>
|
|||
|
|
Линейная MSE: 0.2684
|
|||
|
|
Полиномиальная (degree=3) MSE: 0.1341
|
|||
|
|
Гребневая (degree=3, alpha=1.0) MSE: 0.1312
|
|||
|
|
</div>
|
|||
|
|
</p>
|
|||
|
|
|
|||
|
|
<p>
|
|||
|
|
<div>Набор линейный (linearly_dataset)</div>
|
|||
|
|
<img src="screens/myplot9.png" width="650" title="датасет 3">
|
|||
|
|
</p>
|
|||
|
|
<p>
|
|||
|
|
<div>Графики регрессии</div>
|
|||
|
|
<img src="screens/myplot10.png" width="450" title="линейная модель">
|
|||
|
|
<img src="screens/myplot11.png" width="450" title="полиномиальная модель">
|
|||
|
|
<img src="screens/myplot12.png" width="450" title="гребневая модель">
|
|||
|
|
<div>
|
|||
|
|
Линейная MSE: 0.1101
|
|||
|
|
Полиномиальная (degree=3) MSE: 0.1045
|
|||
|
|
Гребневая (degree=3, alpha=1.0) MSE: 0.1078
|
|||
|
|
</div>
|
|||
|
|
</p>
|
|||
|
|
|
|||
|
|
<div>
|
|||
|
|
Итоговая модель подбирается учитывая зависимость в данных,
|
|||
|
|
как правило полиномиальная регрессия справляется лучше, а коэф регуляризации в гребневой регрессии помогает избежать
|
|||
|
|
переобучения.
|
|||
|
|
</div>
|