55 lines
4.3 KiB
Markdown
55 lines
4.3 KiB
Markdown
## Задание
|
||
|
||
Используя код из пункта «Решение задачи ранжирования признаков», выполните ранжирование признаков с помощью указанных по варианту моделей. Отобразите получившиеся оценки каждого признака каждой моделью и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались самыми важными по среднему значению? (Названия\индексы признаков и будут ответом на задание).
|
||
|
||
Вариант 6:
|
||
|
||
- Гребневая регрессия (Ridge)
|
||
- Сокращение признаков Случайными деревьями (Random Forest Regressor)
|
||
- Линейная корреляция (f_regression)
|
||
|
||
|
||
## Как запустить лабораторную
|
||
Запустить файл main.py
|
||
## Используемые технологии
|
||
Библиотеки numpy, scikit-learn, их компоненты
|
||
## Описание лабораторной (программы)
|
||
Данный код выполняет оценку важности признаков в задаче регрессии.
|
||
|
||
Сначала генерируются исходные данные с использованием 14 признаков (X) и функции-выхода (Y), которая представляет собой регрессионную проблему Фридмана. Затем используются две модели - гребневая регрессия (Ridge) и случайный лес (Random Forest) - для обучения на данных и оценки важности признаков.
|
||
|
||
Затем вычисляются коэффициенты корреляции между признаками и целевой переменной, и результаты сохраняются в словаре ranks с ключом "Correlation".
|
||
|
||
Далее в цикле вычисляются средние значения оценок важности признаков для каждого признака. Результаты сохраняются в словаре mean.
|
||
|
||
Как результат, программа выводит оценки важности для каждой модели и средние значения важности для каждого признака
|
||
## Результат
|
||
|
||
В результате получаем следующее:
|
||
|
||
Ridge
|
||
[('x4', 1.0), ('x14', 0.92), ('x1', 0.76), ('x2', 0.75), ('x12', 0.67), ('x5', 0.61), ('x11', 0.59), ('x6', 0.08), ('x8', 0.08), ('x3', 0.06), ('x7', 0.03), ('x10', 0.01), ('x9', 0.0), ('x13', 0.0)]
|
||
Random Forest
|
||
[('x14', 1.0), ('x2', 0.76), ('x1', 0.66), ('x4', 0.55), ('x11', 0.29), ('x12', 0.28), ('x5', 0.23), ('x3', 0.1), ('x13', 0.09), ('x7', 0.01), ('x6', 0.0), ('x8', 0.0), ('x9', 0.0), ('x10', 0.0)]
|
||
Correlation
|
||
[('x4', 1.0), ('x14', 0.98), ('x2', 0.45), ('x12', 0.44), ('x1', 0.3), ('x11', 0.29), ('x5', 0.04), ('x8', 0.02), ('x7', 0.01), ('x9', 0.01), ('x3', 0.0), ('x6', 0.0), ('x10', 0.0), ('x13', 0.0)]
|
||
Mean Importance:
|
||
x14 : 0.97
|
||
x4 : 0.85
|
||
x2 : 0.65
|
||
x1 : 0.57
|
||
x12 : 0.46
|
||
x11 : 0.39
|
||
x5 : 0.29
|
||
x3 : 0.05
|
||
x6 : 0.03
|
||
x8 : 0.03
|
||
x13 : 0.03
|
||
x7 : 0.02
|
||
x9 : 0.0
|
||
x10 : 0.0
|
||
|
||
Вывод: Самым важным признаком в среднем оказался х14, потом х4 и далее по убывающей - х2, х1, х12, х11, х5. Остальные признаки показали минимальную значимость или не имеют ее совсем.
|
||
|
||
Но стоит отметить, что несмотря на среднюю оценку признаков, разные модели выявили их значимость по-разному, что можно увидеть в тексте выше.
|
||
Корреляция и гребневая регрессия показали чуть более схожий результат, нежели сокращение признаков случайными деревьями, хотя стоит заметить, что результаты всех моделей все равно отличаются. |