tsyppo_anton_lab_2 is ready
This commit is contained in:
parent
bcc00fa6a5
commit
b2bd5ab410
73
tsyppo_anton_lab_2/README.md
Normal file
73
tsyppo_anton_lab_2/README.md
Normal file
@ -0,0 +1,73 @@
|
||||
# Лабораторная работа №2: Ранжирование признаков
|
||||
## Задание. Вариант 8
|
||||
Всего вариантов 20, мой вариант 28, поэтому взял 8 вариант
|
||||
|
||||
Задание:
|
||||
Используя код из [1](пункт «Решение задачи ранжирования признаков», стр. 205), выполните ранжирование признаков с
|
||||
помощью указанных по варианту моделей. Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью
|
||||
и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались самыми важными по
|
||||
среднему значению? (Названия\индексы признаков и будут ответом на задание).
|
||||
|
||||
8.Лассо (Lasso), Рекурсивное сокращение признаков (Recursive Feature Elimination –RFE), Сокращение признаков
|
||||
Случайными деревьями (Random Forest Regressor)
|
||||
|
||||
## Описание программы
|
||||
|
||||
Программа выполняет ранжирование признаков с использованием трех методов: Lasso (лассо), Рекурсивное сокращение
|
||||
признаков (RFE), и Сокращение признаков Случайными деревьями (Random Forest Regressor). Вводится набор случайных данных,
|
||||
содержащих 10 признаков, и генерируется целевая переменная на основе линейной комбинации этих признаков.
|
||||
В конце выводится 4 самых важных признака.
|
||||
|
||||
|
||||
## Как запустить лабораторную работу
|
||||
|
||||
1. Установите необходимые библиотеки:
|
||||
|
||||
```bash
|
||||
pip install numpy pandas scikit-learn
|
||||
```
|
||||
|
||||
2. Запустите скрипт:
|
||||
|
||||
```bash
|
||||
python main.py
|
||||
```
|
||||
|
||||
## Использованные технологии
|
||||
|
||||
- Python
|
||||
- NumPy
|
||||
- Pandas
|
||||
- scikit-learn
|
||||
|
||||
## Что программа делает
|
||||
|
||||
Программа выполняет ранжирование признаков в данных с использованием трех различных методов:
|
||||
|
||||
1. Lasso (лассо): стремится уменьшить веса некоторых признаков до нуля, что может служить признаком их неважности.
|
||||
2. Рекурсивное сокращение признаков (RFE): удаляет наименее значимые признаки на каждом шаге, создавая ранжированный
|
||||
список признаков.
|
||||
3. Сокращение признаков Случайными деревьями (Random Forest Regressor): оценивает важность каждого признака на том,
|
||||
как часто признак используется для разделения данных в деревьях случайного леса.
|
||||
4. Средняя оценка: Для каждого признака вычисляется среднее значение его оценок важности по трем методам.
|
||||
Это создает обобщенную меру важности для каждого признака.
|
||||
|
||||
Итоговый результат представлен в виде таблицы, где для каждого признака указаны его оценки важности по каждому методу,
|
||||
а также средняя оценка важности. Программа также выводит четыре признака с наивысшими средними оценками, считая их
|
||||
наиболее важными.
|
||||
|
||||
## Тесты
|
||||
|
||||
![Графики моделей](img.png)
|
||||
|
||||
## Вывод
|
||||
|
||||
_Анализ оценок признаков, проведенный с использованием трех различных методов ранжирования, выявил следующие ключевые
|
||||
выводы:
|
||||
Feature_8 оценен как наиболее важный признак по всем трем методам. Feature_1, Feature_7 и Feature_3 также считаются
|
||||
важными, занимая второе, третье и четвертое место соответственно. Оценки признаков варьируются в зависимости от метода,
|
||||
что подчеркивает важность использования нескольких подходов для достоверного определения важности признаков. Важность
|
||||
признаков оценивается как среднее значение оценок по трем методам._
|
||||
|
||||
---
|
||||
|
BIN
tsyppo_anton_lab_2/img.png
Normal file
BIN
tsyppo_anton_lab_2/img.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 36 KiB |
63
tsyppo_anton_lab_2/main.py
Normal file
63
tsyppo_anton_lab_2/main.py
Normal file
@ -0,0 +1,63 @@
|
||||
import numpy as np
|
||||
import pandas as pd
|
||||
from sklearn.linear_model import Lasso
|
||||
from sklearn.feature_selection import RFE
|
||||
from sklearn.ensemble import RandomForestRegressor
|
||||
from sklearn.preprocessing import StandardScaler
|
||||
|
||||
# Создаём случайные данные
|
||||
np.random.seed(42)
|
||||
n_samples = 100
|
||||
n_features = 10
|
||||
X = np.random.rand(n_samples, n_features)
|
||||
|
||||
true_coefficients = np.array([3, -1, 2, 0, 1, 2, -3, 4, 0, -2])
|
||||
noise = np.random.normal(0, 0.1, n_samples)
|
||||
y = np.dot(X, true_coefficients) + noise
|
||||
|
||||
# Нормализуем данные
|
||||
scaler = StandardScaler()
|
||||
X_normalized = scaler.fit_transform(X)
|
||||
|
||||
# Преобразуем данные в DataFrame
|
||||
columns = [f'Feature_{i}' for i in range(1, n_features + 1)]
|
||||
df = pd.DataFrame(X_normalized, columns=columns)
|
||||
df['Target'] = y
|
||||
|
||||
# 1. Лассо (Lasso)
|
||||
lasso = Lasso(alpha=0.1)
|
||||
lasso.fit(X_normalized, y)
|
||||
lasso_coefs = np.abs(lasso.coef_)
|
||||
|
||||
# 2. Рекурсивное сокращение признаков (RFE)
|
||||
rfe = RFE(estimator=RandomForestRegressor(), n_features_to_select=1)
|
||||
rfe.fit(X_normalized, y)
|
||||
rfe_ranks = rfe.ranking_
|
||||
|
||||
# 3. Сокращение признаков Случайными деревьями (Random Forest Regressor)
|
||||
rf = RandomForestRegressor()
|
||||
rf.fit(X_normalized, y)
|
||||
rf_importances = rf.feature_importances_
|
||||
|
||||
# 4. Средняя оценка
|
||||
average_scores = (lasso_coefs + (1 / rfe_ranks) + rf_importances) / 3
|
||||
|
||||
# Масштабируем средние оценки так, чтобы они лежали в диапазоне от 0 до 1
|
||||
scaled_average_scores = (average_scores - np.min(average_scores)) / (np.max(average_scores) - np.min(average_scores))
|
||||
|
||||
# Создаем DataFrame для анализа результатов
|
||||
results_df = pd.DataFrame({
|
||||
'Lasso': np.round(lasso_coefs, 2),
|
||||
'RFE Rank': np.round(1 / rfe_ranks, 2),
|
||||
'Random Forest': np.round(rf_importances, 2),
|
||||
'Average': np.round(scaled_average_scores, 2)
|
||||
}, index=columns)
|
||||
|
||||
# Выводим результаты
|
||||
print("Оценки признаков:")
|
||||
print(results_df)
|
||||
|
||||
# Четыре признака с самыми высокими средними оценками
|
||||
top_features = results_df.nlargest(4, 'Average').index
|
||||
print("\nСамые важные признаки:")
|
||||
print(top_features)
|
Loading…
Reference in New Issue
Block a user