# Лабораторная работа №2. Вариант 5.

## Задание

Выполнить ранжирование признаков с помощью указанных по варианту моделей. Отобразить получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. Провести анализ получившихся результатов.

- Гребневая регрессия (Ridge) 
- Рекурсивное сокращение признаков (Recursive Feature Elimination – RFE)
- Сокращение признаков Случайными деревьями (Random Forest)

## Содержание
- [Лабораторная работа №2. Вариант 5.](#лабораторная-работа-2-вариант-5)
  - [Задание](#задание)
  - [Содержание](#содержание)
  - [Введение](#введение)
  - [Зависимости](#зависимости)
  - [Запуск приложения](#запуск-приложения)
  - [Описание кода](#описание-кода)
  - [Заключение](#заключение)
    - [Оценка работы моделей](#оценка-работы-моделей)
    - [Общий вывод](#общий-вывод)

## Введение

Данный код демонстрирует, как провести анализ важности признаков при помощи различных моделей: гребневой регрессии (Ridge), рекурсивного сокращения признаков (RFE) и случайного леса (Random Forest). Кроме того, код рассчитывает среднюю важность признаков по всем моделям.

## Зависимости

Для работы этого приложения необходимы следующие библиотеки Python:

- Matplotlib
- scikit-learn
- NumPy

Вы можете установить их с помощью pip:

```bash
pip install numpy scikit-learn matplotlib
```

## Запуск приложения

Чтобы запустить эту программу, выполните следующую команду:

```bash
python lab2.py
```
В консоль выведется резудьтат.

## Описание кода

- Генерируется синтетический набор данных с 750 наблюдениями и 14 признаками.

```python
np.random.seed(0)
size = 750
X = np.random.uniform(0, 1, (size, 14)) 
```

- Задаем функцию-выход и добавляем зависимость признаков

```python
Y = (10 * np.sin(np.pi * X[:, 0] * X[:, 1]) + 20 * (X[:, 2] - .5) ** 2 +
     10 * X[:, 3] + 5 * X[:, 4] ** 5 + np.random.normal(0, 1))

X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4))
```

- Для анализа важности признаков используются три разные модели: гребневая регрессия (Ridge), RFE и случайный лес (Random Forest).

```python
ridge = Ridge(alpha=1)
ridge.fit(X, Y)

lr = LinearRegression()
lr.fit(X, Y)
rfe = RFE(lr)
rfe.fit(X, Y)

rfr = RandomForestRegressor()
rfr.fit(X, Y)
```

- Модели обучаются на данных для оценки важности признаков.
- Две функции, `rank_ridge_rfr_to_dict` и `rank_rfe_to_dict`, нормализуют и возвращают рейтинги важности признаков в виде словарей.

```python
def rank_ridge_rfr_to_dict(ranks, names):
    ranks = np.abs(ranks)
    minmax = MinMaxScaler()
    ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel()
    ranks = map(lambda x: round(x, 2), ranks)
    return dict(zip(names, ranks))

def rank_rfe_to_dict(ranks, names):
    new_ranks = [float(1 / x) for x in ranks]
    new_ranks = map(lambda x: round(x, 2), new_ranks)
    return dict(zip(names, new_ranks))
```

- В коде рассчитываются и выводятся рейтинги важности признаков для каждой модели и средний рейтинг важности признаков.


## Заключение

### Оценка работы моделей

В консоль выводятся оценки значимости признаков каждой модели, а также средние оценки значимости признаков всех моделей

```bash
Ridge
[('x4', 1.0), ('x1', 0.98), ('x2', 0.8), ('x14', 0.61), ('x5', 0.54), ('x12', 0.39), ('x3', 0.25), ('x13', 0.19), ('x11', 0.16), ('x6', 0.08), ('x8', 0.07), ('x7', 0.02), ('x10', 
0.02), ('x9', 0.0)]
Recursive Feature Elimination
[('x1', 1.0), ('x2', 1.0), ('x3', 1.0), ('x4', 1.0), ('x5', 1.0), ('x11', 1.0), ('x13', 1.0), ('x12', 0.5), ('x14', 0.33), ('x8', 0.25), ('x6', 0.2), ('x10', 0.17), ('x7', 0.14), 
('x9', 0.12)]
Random Forest Regression
[('x14', 1.0), ('x2', 0.84), ('x4', 0.77), ('x1', 0.74), ('x11', 0.36), ('x12', 0.35), ('x5', 0.28), ('x3', 0.12), ('x13', 0.12), ('x6', 0.01), ('x7', 0.01), ('x8', 0.01), ('x9', 
0.01), ('x10', 0.0)]
Mean
[('x4', 0.92), ('x1', 0.91), ('x2', 0.88), ('x14', 0.65), ('x5', 0.61), ('x11', 0.51), ('x3', 0.46), ('x13', 0.44), ('x12', 0.41), ('x8', 0.11), ('x6', 0.1), ('x7', 0.06), ('x10', 0.06), ('x9', 0.04)]
```

Модель Ridge:

- Самыми значимыми признаками, оцененными с использованием модели Ridge, являются x4, x1 и x2, обладающие оценками важности близкими к 1.0. Также к значимым можно отнести x5 и x14, которого не должно быть.
- не был отмечен важный признак x3.

Модель Recursive Feature Elimination:

- Модель RFE довольно точно выделила важные признаки, включая x1, x2, x3, x4 и x5, которые получили оценку важности равную 1.0.
- Признаки x11 и x13 были ошибочно оценены как важные.

Модель Random Forest Regression:

- Важность признаков с использованием модели Random Forest Regression дает представление о том, как признаки влияют на предсказания модели.Самые важные признаки согласно этой модели включают x14, x2, x4 и x1, но важность x3 и x5 существенно ниже.
- Модель также ошибочно приписала важность признаку x14.

Средняя оценка:

Средняя оценка важности признаков была рассчитана на основе результатов трех моделей и даёт общее представление об их значимости.
Наиболее значимыми признаками, в среднем, оказались x1, x2, x4 и x5.
Важность признака x3 снизилась в среднем, но он все равно остается значимым.
Признаки x11 и x14 оцениваются как значимые средним образом, хотя это может быть результатом ошибок моделей.

### Общий вывод

- Модель Ridge и метод Recursive Feature Elimination (RFE) совершили по одной ошибке каждая, но RFE не потерял ни одного значимого признака.
- Модель RandomForestRegressor показала наименьшую точность в оценке значимости признаков, что привело к потере двух значимых признаков и добавлению одного лишнего.  
- Однако, средняя оценка значимости признаков также содержит три ошибки, как и первая модель.

Исходя из этих результатов, можно заключить, что для ранжирования признаков предпочтительно использовать специализированные инструменты, такие как Recursive Feature Elimination (RFE), вместо оценки коэффициентов признаков в регрессионных моделях.