лаба 2 реади

antonov_dmitry_lab_2/README.md

@@ -2,8 +2,7 @@
 
 Ранжирование признаков
 
-Используя код из (пункт «Решение задачи ранжирования признаков», стр. 205), 
-выполните ранжирование признаков с помощью указанных по варианту моделей. 
+Выполните ранжирование признаков с помощью указанных по варианту моделей. 
 Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. 
 Проведите анализ получившихся результатов. 
 Какие четыре признака оказались самыми важными по среднему значению? 
@@ -15,6 +14,10 @@
 Случайными деревьями (Random Forest Regressor), Линейная корреляция
 (f_regression)
 
+Я использовал датасет Predict students' dropout and academic success
+https://www.kaggle.com/datasets/thedevastator/higher-education-predictors-of-student-retention
+Он используется мной по заданию на курсовую работу
+
 # Запуск
 
 Выполнением скрипта файла (вывод в консоль).
@@ -47,6 +50,31 @@
 но не подходит для ранжирования объектов.
 </div>
 
+### 4 самых важных признака в среднем:
+1. Признак: Curricular units 2nd sem (approved), Оценка: 0.8428
+2. Признак: Tuition fees up to date, Оценка: 0.4797
+3. Признак: Curricular units 1st sem (approved), Оценка: 0.2986
+4. Признак: Curricular units 2nd sem (grade), Оценка: 0.2778
+
+### 4 самых важных для lr_scores линейной регрессии:
+1. 0.3917 'Tuition fees up to date'
+2. 0.2791 'International'
+3. 0.2075 'Curricular units 2nd sem (approved)'
+4. 0.1481 'Debtor'
+
+### 4 самых важных для rf_scores рандом forests:
+1. 0.4928 'Curricular units 2nd sem (approved)'
+2. 0.061 'Tuition fees up to date'
+3. 0.0458 'Curricular units 2nd sem (grade)'
+4. 0.0308 'Curricular units 1st sem (grade)'
+
+### 4 самых важных для f_regression:
+1. 2822.104 'Curricular units 2nd sem (approved)'
+2. 2093.3315 'Curricular units 2nd sem (grade)'
+3. 1719.4229 'Curricular units 1st sem (approved)'
+4. 1361.6144 'Curricular units 1st sem (grade)'
+
+### Объяснение:
 <div>
 В общем, выбор между линейной регрессией и случайными лесами зависит от характеристик данных. 
 Если данные имеют линейную зависимость, то линейная регрессия будет предпочтительнее.

antonov_dmitry_lab_2/lab2.py

@@ -1,50 +1,106 @@
 import numpy as np
-from sklearn.datasets import make_regression
-from sklearn.feature_selection import RFECV, f_regression
+import pandas as pd
+from sklearn.model_selection import train_test_split
 from sklearn.linear_model import LinearRegression
 from sklearn.ensemble import RandomForestRegressor
+from sklearn.feature_selection import f_regression
+from sklearn.preprocessing import MinMaxScaler
 
-# генерируем исходные данные: 100 строк-наблюдений и 10 столбцов-признаков
-X, y = make_regression(n_samples=100, n_features=10, random_state=42)
+# загрузка dataset
+data = pd.read_csv('dataset.csv')
 
-# линейная модель
-linear_reg = LinearRegression()
-linear_reg.fit(X, y)
-linear_ranking_lr = np.abs(linear_reg.coef_)
+# разделение dataset на тренировочную и тестовую выборки
+X = data.drop(['Target'], axis=1)
+y = data['Target']
 
-# cокращение признаков cлучайными деревьями (Random Forest Regressor)
-rf_reg = RandomForestRegressor()
-rfecv = RFECV(estimator=rf_reg)
-rfecv.fit(X, y)
-rfecv_ranking = rfecv.ranking_
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
-# линейная корреляция (f_regression)
-f_reg, _ = f_regression(X, y)
-linear_corr_ranking = f_reg
+# Тренировка моделей
+# Линейная регрессия
+lr = LinearRegression()
+lr.fit(X_train, y_train)
 
-# ранжирование признаков и вычисление средней оценки
-all_rankings = np.vstack((linear_ranking_lr, rfecv_ranking, linear_corr_ranking))
-average_ranking = np.mean(all_rankings, axis=0)
+# Сокращение признаков случайными деревьями с помощью Random Forest Regressor
+rf = RandomForestRegressor()
+rf.fit(X_train, y_train)
 
-# средние показатели четырех наиболее важных характеристик
-most_important_indices = np.argsort(average_ranking)[-4:]
+# Ранжирование признаков использую каждую модель/метод
+# Получение абсолютных значений коэффициентов в качестве оценок важности признаков
+lr_scores = abs(lr.coef_)
 
-# результаты
-print("ранги линейной модели:")
-print(linear_ranking_lr)
-print("")
+# Получение оценок важности объектов из модели Random Forest Regressor
+rf_scores = rf.feature_importances_
 
-print("ранги после сокращения признаков Random Forest:")
-print(rfecv_ranking)
-print("")
+# Отображение итоговых оценок по каждой колонке
+feature_names = X.columns.tolist()
 
-print("ранги линейнейной корреляции (f_regression):")
-print(linear_corr_ranking)
-print("")
+# показать оценки рангов по модели линейной регрессии
+print("оценки линейной регрессии:")
+for feature, score in zip(feature_names, lr_scores):
+    print(f"{feature}: {round(score, 4)}")
 
-print("ранги по средней оценке:")
-print(average_ranking)
-print("")
+# оценки метода рандомных лесов
+print("\nоценки Random Forest:")
+for feature, score in zip(feature_names, rf_scores):
+    print(f"{feature}: {round(score, 4)}")
 
-print("4 выделенных главных признака:")
-print(most_important_indices)
+# вычисление значений оценки для f_regression
+f_scores, p_values = f_regression(X, y)
+
+# оценки f_regression
+print("\nоценки f_regression:")
+for feature, score in zip(feature_names, f_scores):
+    print(f"{feature}: {round(score, 4)}")
+
+# использую MinMaxScaler для точных средних значений рангов
+scaler = MinMaxScaler()
+lr_scores_scaled = scaler.fit_transform(lr_scores.reshape(-1, 1)).flatten()
+rf_scores_scaled = scaler.fit_transform(rf_scores.reshape(-1, 1)).flatten()
+f_scores_scaled = scaler.fit_transform(f_scores.reshape(-1, 1)).flatten()
+
+# вычисление средних оценок для каждого признака
+average_scores = {}
+for feature in feature_names:
+    average_scores[feature] = (lr_scores_scaled[feature_names.index(feature)] +
+                              rf_scores_scaled[feature_names.index(feature)] +
+                              f_scores_scaled[feature_names.index(feature)]) / 3
+
+# получаем среднюю оценку признаков
+sorted_features = sorted(average_scores.items(), key=lambda x: x[1], reverse=True)
+
+# получаем самых важных признака
+top_4_features = sorted_features[:4]
+
+# отображаем 4 самые важные
+print("\n4 самых важных признака в среднем:")
+for feature, score in top_4_features:
+    print(f"Признак: {feature}, Оценка: {round(score, 4)}")
+
+
+# отображаем самых важных признака для каждого метода/модели
+top_lr_indices = np.argsort(lr_scores)[-4:][::-1]
+top_rf_indices = np.argsort(rf_scores)[-4:][::-1]
+top_f_indices = np.argsort(f_scores)[-4:][::-1]
+
+top_lr_features = [feature_names[i] for i in top_lr_indices]
+top_rf_features = [feature_names[i] for i in top_rf_indices]
+top_f_features = [feature_names[i] for i in top_f_indices]
+
+top_lr_features_score = [lr_scores[i] for i in top_lr_indices]
+top_rf_features_score = [rf_scores[i] for i in top_rf_indices]
+top_f_features_score = [f_scores[i] for i in top_f_indices]
+
+print("\n4 самых важных для lr_scores:")
+print(top_lr_features)
+for i in top_lr_features_score:
+    print(round(i, 4))
+
+print("\n4 самых важных для rf_scores:")
+print(top_rf_features)
+for i in top_rf_features_score:
+    print(round(i, 4))
+
+print("\n4 самых важных для f_scores:")
+print(top_f_features)
+for i in top_f_features_score:
+    print(round(i, 4))