antonov_dmitry_lab_2/README.md

@@ -1,84 +0,0 @@
-# Лаб 2
-
-Ранжирование признаков
-
-Выполните ранжирование признаков с помощью указанных по варианту моделей. 
-Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. 
-Проведите анализ получившихся результатов. 
-Какие четыре признака оказались самыми важными по среднему значению? 
-(Названия\индексы признаков и будут ответом на задание).
-
-# Вариант 3
-
-Линейная регрессия (LinearRegression) , Сокращение признаков
-Случайными деревьями (Random Forest Regressor), Линейная корреляция
-(f_regression)
-
-Я использовал датасет Predict students' dropout and academic success
-https://www.kaggle.com/datasets/thedevastator/higher-education-predictors-of-student-retention
-Он используется мной по заданию на курсовую работу
-
-# Запуск
-
-Выполнением скрипта файла (вывод в консоль).
-
-# Модели:
-
-1. Линейная регрессия (LinearRegression)
-1. Сокращение признаков cлучайными деревьями (Random Forest Regressor)
-1. Линейная корреляция (f_regression)
-
-# Пояснения
-
-<div>
-Выбор наиболее подходящего метода ранжирования объектов зависит от специфики набора данных и требований 
-к модели.
-
-Линейная регрессия - это простой и понятный метод, который может быть использован для предсказания значений.
-Он хорошо работает, если зависимость между переменными является линейной. 
-Однако, если данные содержат сложные нелинейные зависимости, линейная регрессия может 
-оказаться не очень эффективной.
-
-Уменьшение признаков с помощью случайных деревьев (Random Forest Regressor) - это мощный метод, 
-который способен обрабатывать сложные взаимосвязи в данных, даже если они нелинейные. 
-Он основан на идее создания ансамбля деревьев решений, каждое из которых дает свой голос за 
-наиболее подходящий ответ. Случайные леса обычно дают хорошие результаты и являются устойчивыми 
-к переобучению.
-
-Линейная корреляция или f_regression - это статистический метод, который используется для измерения 
-степени связи между двумя переменными. Он может помочь определить, есть ли вообще связь между переменными, 
-но не подходит для ранжирования объектов.
-</div>
-
-### 4 самых важных признака в среднем:
-1. Признак: Curricular units 2nd sem (approved), Оценка: 0.8428
-2. Признак: Tuition fees up to date, Оценка: 0.4797
-3. Признак: Curricular units 1st sem (approved), Оценка: 0.2986
-4. Признак: Curricular units 2nd sem (grade), Оценка: 0.2778
-
-### 4 самых важных для lr_scores линейной регрессии:
-1. 0.3917 'Tuition fees up to date'
-2. 0.2791 'International'
-3. 0.2075 'Curricular units 2nd sem (approved)'
-4. 0.1481 'Debtor'
-
-### 4 самых важных для rf_scores рандом forests:
-1. 0.4928 'Curricular units 2nd sem (approved)'
-2. 0.061 'Tuition fees up to date'
-3. 0.0458 'Curricular units 2nd sem (grade)'
-4. 0.0308 'Curricular units 1st sem (grade)'
-
-### 4 самых важных для f_regression:
-1. 2822.104 'Curricular units 2nd sem (approved)'
-2. 2093.3315 'Curricular units 2nd sem (grade)'
-3. 1719.4229 'Curricular units 1st sem (approved)'
-4. 1361.6144 'Curricular units 1st sem (grade)'
-
-### Объяснение:
-<div>
-В общем, выбор между линейной регрессией и случайными лесами зависит от характеристик данных. 
-Если данные имеют линейную зависимость, то линейная регрессия будет предпочтительнее.
-Если данные содержат сложные, возможно нелинейные взаимосвязи, то Random Forest может быть лучшим выбором. 
-В любом случае, важно провести предварительное исследование данных и тестирование различных моделей, 
-чтобы выбрать наиболее подходящую.
-</div>

antonov_dmitry_lab_2/lab2.py

@@ -1,106 +0,0 @@
-import numpy as np
-import pandas as pd
-from sklearn.model_selection import train_test_split
-from sklearn.linear_model import LinearRegression
-from sklearn.ensemble import RandomForestRegressor
-from sklearn.feature_selection import f_regression
-from sklearn.preprocessing import MinMaxScaler
-
-# загрузка dataset
-data = pd.read_csv('dataset.csv')
-
-# разделение dataset на тренировочную и тестовую выборки
-X = data.drop(['Target'], axis=1)
-y = data['Target']
-
-X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
-
-# Тренировка моделей
-# Линейная регрессия
-lr = LinearRegression()
-lr.fit(X_train, y_train)
-
-# Сокращение признаков случайными деревьями с помощью Random Forest Regressor
-rf = RandomForestRegressor()
-rf.fit(X_train, y_train)
-
-# Ранжирование признаков использую каждую модель/метод
-# Получение абсолютных значений коэффициентов в качестве оценок важности признаков
-lr_scores = abs(lr.coef_)
-
-# Получение оценок важности объектов из модели Random Forest Regressor
-rf_scores = rf.feature_importances_
-
-# Отображение итоговых оценок по каждой колонке
-feature_names = X.columns.tolist()
-
-# показать оценки рангов по модели линейной регрессии
-print("оценки линейной регрессии:")
-for feature, score in zip(feature_names, lr_scores):
-    print(f"{feature}: {round(score, 4)}")
-
-# оценки метода рандомных лесов
-print("\nоценки Random Forest:")
-for feature, score in zip(feature_names, rf_scores):
-    print(f"{feature}: {round(score, 4)}")
-
-# вычисление значений оценки для f_regression
-f_scores, p_values = f_regression(X, y)
-
-# оценки f_regression
-print("\nоценки f_regression:")
-for feature, score in zip(feature_names, f_scores):
-    print(f"{feature}: {round(score, 4)}")
-
-# использую MinMaxScaler для точных средних значений рангов
-scaler = MinMaxScaler()
-lr_scores_scaled = scaler.fit_transform(lr_scores.reshape(-1, 1)).flatten()
-rf_scores_scaled = scaler.fit_transform(rf_scores.reshape(-1, 1)).flatten()
-f_scores_scaled = scaler.fit_transform(f_scores.reshape(-1, 1)).flatten()
-
-# вычисление средних оценок для каждого признака
-average_scores = {}
-for feature in feature_names:
-    average_scores[feature] = (lr_scores_scaled[feature_names.index(feature)] +
-                              rf_scores_scaled[feature_names.index(feature)] +
-                              f_scores_scaled[feature_names.index(feature)]) / 3
-
-# получаем среднюю оценку признаков
-sorted_features = sorted(average_scores.items(), key=lambda x: x[1], reverse=True)
-
-# получаем самых важных признака
-top_4_features = sorted_features[:4]
-
-# отображаем 4 самые важные
-print("\n4 самых важных признака в среднем:")
-for feature, score in top_4_features:
-    print(f"Признак: {feature}, Оценка: {round(score, 4)}")
-
-
-# отображаем самых важных признака для каждого метода/модели
-top_lr_indices = np.argsort(lr_scores)[-4:][::-1]
-top_rf_indices = np.argsort(rf_scores)[-4:][::-1]
-top_f_indices = np.argsort(f_scores)[-4:][::-1]
-
-top_lr_features = [feature_names[i] for i in top_lr_indices]
-top_rf_features = [feature_names[i] for i in top_rf_indices]
-top_f_features = [feature_names[i] for i in top_f_indices]
-
-top_lr_features_score = [lr_scores[i] for i in top_lr_indices]
-top_rf_features_score = [rf_scores[i] for i in top_rf_indices]
-top_f_features_score = [f_scores[i] for i in top_f_indices]
-
-print("\n4 самых важных для lr_scores:")
-print(top_lr_features)
-for i in top_lr_features_score:
-    print(round(i, 4))
-
-print("\n4 самых важных для rf_scores:")
-print(top_rf_features)
-for i in top_rf_features_score:
-    print(round(i, 4))
-
-print("\n4 самых важных для f_scores:")
-print(top_f_features)
-for i in top_f_features_score:
-    print(round(i, 4))