IIS_2023_1/antonov_dmitry_lab_2

Лаб 2

Ранжирование признаков

Используя код из (пункт «Решение задачи ранжирования признаков», стр. 205), выполните ранжирование признаков с помощью указанных по варианту моделей. Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались самыми важными по среднему значению? (Названия\индексы признаков и будут ответом на задание).

Вариант 3

Данные: make_classification (n_samples=500, n_features=2, n_redundant=0, n_informative=2, random_state=rs, n_clusters_per_class=1)

Запуск

Выполнением скрипта файла (вывод в консоль + рисует графики).

Модели:

1. Линейная регрессия
2. Полиномиальная регрессия (со степенью 3)
3. Гребневая полиномиальная регрессия (со степенью 3, alpha = 1.0)

Графики

Качество каждой модели может быть оценено на основе среднеквадратичной ошибки (MSE). Более низкая MSE указывает на лучшее соответствие данным. Однако выбор модели зависит от набора данных и лежащей в основе взаимосвязи между объектами и целевой переменной.

Линейная регрессия: Линейная регрессия предполагает линейную зависимость между признаками и целевой переменной. Это хорошо работает, когда взаимосвязь линейна, а шум в наборе данных минимален. Лучше всего сработала на наборе лун. Хуже всего на кругах. На линейном наборе показала себя на равне с остальными.

Полиномиальная и гребневая показали примерно одинаково на всех наборах.

Полиномиальная регрессия (степень=3): Полиномиальная регрессия обеспечивает более гибкую подгонку за счет полинома более высокого порядка(кубическая кривая). Она может выявить более сложные взаимосвязи между объектами и целевой переменной. Она может сработать лучше, чем линейная регрессия, если истинная взаимосвязь нелинейна.

Гребневая регрессия (степень= 3, альфа=1,0): В случае полиномиальной регрессии с регуляризацией (альфа=1,0) модель добавляет коэффициент регуляризации для управления сложностью обучения. Регуляризация помогает предотвратить переобучение, когда набор данных содержит шум или когда он ограничен.

Набор лун (moon_dataset)

Графики регрессии

Линейная MSE: 0.0936 Полиномиальная (degree=3) MSE: 0.0674 Гребневая (degree=3, alpha=1.0) MSE: 0.0682

Набор кругов (circles_dataset)

Графики регрессии

Линейная MSE: 0.2684 Полиномиальная (degree=3) MSE: 0.1341 Гребневая (degree=3, alpha=1.0) MSE: 0.1312

Набор линейный (linearly_dataset)

Графики регрессии

Линейная MSE: 0.1101 Полиномиальная (degree=3) MSE: 0.1045 Гребневая (degree=3, alpha=1.0) MSE: 0.1078

Итоговая модель подбирается учитывая зависимость в данных, как правило полиномиальная регрессия справляется лучше, а коэф регуляризации в гребневой регрессии помогает избежать переобучения.