52 lines
4.6 KiB
Markdown
52 lines
4.6 KiB
Markdown
### Задание
|
||
Выполнить ранжирование признаков с помощью указанных по варианту моделей. Отобразить получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. Провести анализ получившихся результатов. Определить, какие четыре признака оказались самыми важными по среднему значению.
|
||
|
||
Вариант 1.
|
||
Модели:
|
||
* Линейная регрессия (LinearRegression)
|
||
* Случайное Лассо (RandomizedLasso)
|
||
* Рекурсивное сокращение признаков (Recursive Feature Elimination – RFE)
|
||
|
||
### Запуск программы
|
||
Файл lab2.py содержит и запускает программу, аргументов и настройки ~~вроде~~ не требует,
|
||
|
||
### Описание программы
|
||
Файл rand_lasso.py содержит реализацию RandomizedLasso, которая была 'устарена' со skilearn 0.19 и удалена с 0.21. Код взят с их гита, версии 0.19.
|
||
Пробовались готовые решения с гита, однако они были либо совсем нерабочими, либо у их результатов не прослеживалось корреляции с остальными моделями, что говорило о их некачественности.
|
||
|
||
Файл lab2.py содержит непосредственно программу.
|
||
|
||
Программа создаёт набор данных с 10 признаками для последующего их ранжирования, и обрабатывает тремя моделями по варианту.
|
||
Программа строит столбчатые диаграммы, которые показывают как распределились оценки важности признаков, и выводит в консоль отсортированные по убыванию важности признаки.
|
||
Таким образом можно легко определить наиважнейшие признаки.
|
||
|
||
Сперва в качестве оценщика в модели RFE использовалась линейная регрессия. Однако тогда результаты были идентичны с результатами обычной модели линейной регрессии.
|
||
Поэтому оценщик был заменён на предложенную в примерах sklearn модель SVR.
|
||
|
||
### Результаты тестирования
|
||
По результатам тестирования, можно сказать следующее:
|
||
* линейная регрессия и рекурсивное сокращение признаков показывают близкие значения, которые, тем не менее, расходятся в деталях.
|
||
* случайное лассо показывает сильно завышенные результаты, однако они более-менее коррелируют с результатами других моделей.
|
||
* средние значения позволяют выявить взвешенный результат.
|
||
* определить, какая модель ближе к действительности однозначно сказать невозможно из-за разброса.
|
||
* какая модель (её реализация) дальше всего от действительности наоборот немного очевидно.
|
||
|
||
Пример консольных результатов:
|
||
|
||
>Linear regression
|
||
|
||
>[('x4', 1.0), ('x1', 0.73), ('x2', 0.73), ('x5', 0.38), ('x10', 0.05), ('x6', 0.03), ('x9', 0.03), ('x3', 0.01), ('x7', 0.01), ('x8', 0.0)]
|
||
|
||
>Random lasso
|
||
|
||
>[('x1', 1.0), ('x2', 1.0), ('x4', 1.0), ('x5', 1.0), ('x10', 0.97), ('x6', 0.89), ('x9', 0.82), ('x3', 0.55), ('x7', 0.36), ('x8', 0.0)]
|
||
|
||
>RFE
|
||
|
||
>[('x4', 1.0), ('x1', 0.86), ('x2', 0.8), ('x5', 0.44), ('x10', 0.08), ('x6', 0.05), ('x7', 0.04), ('x3', 0.01), ('x8', 0.01), ('x9', 0.0)]
|
||
|
||
>Mean
|
||
|
||
>[('x4', 1.0), ('x1', 0.86), ('x2', 0.84), ('x5', 0.61), ('x10', 0.37), ('x6', 0.32), ('x9', 0.28), ('x3', 0.19), ('x7', 0.14), ('x8', 0.0)]
|
||
|
||
По данным результатам можно заключить, что наиболее влиятельные признаки по убыванию: x4, x1, x2, x5. |