Alexey/IIS_2023_1

superhugebetformiladze 5746fc2084 simonov_nikita_lab_2

2023-11-06 17:19:53 +04:00

8.5 KiB

Raw Blame History

Лабораторная работа №2. Вариант 5.

Задание

Выполнить ранжирование признаков с помощью указанных по варианту моделей. Отобразить получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. Провести анализ получившихся результатов.

Гребневая регрессия (Ridge)
Рекурсивное сокращение признаков (Recursive Feature Elimination – RFE)
Сокращение признаков Случайными деревьями (Random Forest)

Содержание

Лабораторная работа №2. Вариант 5.

Введение

Данный код демонстрирует, как провести анализ важности признаков при помощи различных моделей: гребневой регрессии (Ridge), рекурсивного сокращения признаков (RFE) и случайного леса (Random Forest). Кроме того, код рассчитывает среднюю важность признаков по всем моделям.

Зависимости

Для работы этого приложения необходимы следующие библиотеки Python:

Matplotlib
scikit-learn
NumPy

Вы можете установить их с помощью pip:

pip install numpy scikit-learn matplotlib

Запуск приложения

Чтобы запустить эту программу, выполните следующую команду:

python lab2.py

В консоль выведется резудьтат.

Описание кода

Генерируется синтетический набор данных с 750 наблюдениями и 14 признаками.

np.random.seed(0)
size = 750
X = np.random.uniform(0, 1, (size, 14))

Задаем функцию-выход и добавляем зависимость признаков

Y = (10 * np.sin(np.pi * X[:, 0] * X[:, 1]) + 20 * (X[:, 2] - .5) ** 2 +
     10 * X[:, 3] + 5 * X[:, 4] ** 5 + np.random.normal(0, 1))

X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4))

Для анализа важности признаков используются три разные модели: гребневая регрессия (Ridge), RFE и случайный лес (Random Forest).

ridge = Ridge(alpha=1)
ridge.fit(X, Y)

lr = LinearRegression()
lr.fit(X, Y)
rfe = RFE(lr)
rfe.fit(X, Y)

rfr = RandomForestRegressor()
rfr.fit(X, Y)

Модели обучаются на данных для оценки важности признаков.
Две функции, rank_ridge_rfr_to_dict и rank_rfe_to_dict, нормализуют и возвращают рейтинги важности признаков в виде словарей.

def rank_ridge_rfr_to_dict(ranks, names):
    ranks = np.abs(ranks)
    minmax = MinMaxScaler()
    ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel()
    ranks = map(lambda x: round(x, 2), ranks)
    return dict(zip(names, ranks))

def rank_rfe_to_dict(ranks, names):
    new_ranks = [float(1 / x) for x in ranks]
    new_ranks = map(lambda x: round(x, 2), new_ranks)
    return dict(zip(names, new_ranks))

В коде рассчитываются и выводятся рейтинги важности признаков для каждой модели и средний рейтинг важности признаков.

Заключение

Оценка работы моделей

В консоль выводятся оценки значимости признаков каждой модели, а также средние оценки значимости признаков всех моделей

Ridge
[('x4', 1.0), ('x1', 0.98), ('x2', 0.8), ('x14', 0.61), ('x5', 0.54), ('x12', 0.39), ('x3', 0.25), ('x13', 0.19), ('x11', 0.16), ('x6', 0.08), ('x8', 0.07), ('x7', 0.02), ('x10', 
0.02), ('x9', 0.0)]
Recursive Feature Elimination
[('x1', 1.0), ('x2', 1.0), ('x3', 1.0), ('x4', 1.0), ('x5', 1.0), ('x11', 1.0), ('x13', 1.0), ('x12', 0.5), ('x14', 0.33), ('x8', 0.25), ('x6', 0.2), ('x10', 0.17), ('x7', 0.14), 
('x9', 0.12)]
Random Forest Regression
[('x14', 1.0), ('x2', 0.84), ('x4', 0.77), ('x1', 0.74), ('x11', 0.36), ('x12', 0.35), ('x5', 0.28), ('x3', 0.12), ('x13', 0.12), ('x6', 0.01), ('x7', 0.01), ('x8', 0.01), ('x9', 
0.01), ('x10', 0.0)]
Mean
[('x4', 0.92), ('x1', 0.91), ('x2', 0.88), ('x14', 0.65), ('x5', 0.61), ('x11', 0.51), ('x3', 0.46), ('x13', 0.44), ('x12', 0.41), ('x8', 0.11), ('x6', 0.1), ('x7', 0.06), ('x10', 0.06), ('x9', 0.04)]

Модель Ridge:

Самыми значимыми признаками, оцененными с использованием модели Ridge, являются x4, x1 и x2, обладающие оценками важности близкими к 1.0. Также к значимым можно отнести x5 и x14, которого не должно быть.
не был отмечен важный признак x3.

Модель Recursive Feature Elimination:

Модель RFE довольно точно выделила важные признаки, включая x1, x2, x3, x4 и x5, которые получили оценку важности равную 1.0.
Признаки x11 и x13 были ошибочно оценены как важные.

Модель Random Forest Regression:

Важность признаков с использованием модели Random Forest Regression дает представление о том, как признаки влияют на предсказания модели.Самые важные признаки согласно этой модели включают x14, x2, x4 и x1, но важность x3 и x5 существенно ниже.
Модель также ошибочно приписала важность признаку x14.

Средняя оценка:

Средняя оценка важности признаков была рассчитана на основе результатов трех моделей и даёт общее представление об их значимости. Наиболее значимыми признаками, в среднем, оказались x1, x2, x4 и x5. Важность признака x3 снизилась в среднем, но он все равно остается значимым. Признаки x11 и x14 оцениваются как значимые средним образом, хотя это может быть результатом ошибок моделей.

Общий вывод

Модель Ridge и метод Recursive Feature Elimination (RFE) совершили по одной ошибке каждая, но RFE не потерял ни одного значимого признака.
Модель RandomForestRegressor показала наименьшую точность в оценке значимости признаков, что привело к потере двух значимых признаков и добавлению одного лишнего.
Однако, средняя оценка значимости признаков также содержит три ошибки, как и первая модель.

Исходя из этих результатов, можно заключить, что для ранжирования признаков предпочтительно использовать специализированные инструменты, такие как Recursive Feature Elimination (RFE), вместо оценки коэффициентов признаков в регрессионных моделях.

8.5 KiB Raw Blame History Unescape Escape