Merge pull request 'belyaeva lab2 ready' (#68) from belyaeva_ekaterina_lab_2 into main

Reviewed-on: http://student.git.athene.tech/Alexey/IIS_2023_1/pulls/68

belyaeva_ekaterina_lab_2/README.md

@@ -0,0 +1,55 @@
+## Задание 
+
+Используя код из пункта «Решение задачи ранжирования признаков», выполните ранжирование признаков с помощью указанных по варианту моделей. Отобразите получившиеся оценки каждого признака каждой моделью и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались самыми важными по среднему значению? (Названия\индексы признаков и будут ответом на задание).
+
+Вариант 6:
+
+- Гребневая регрессия (Ridge) 
+- Сокращение признаков Случайными деревьями (Random Forest Regressor) 
+- Линейная корреляция (f_regression)
+
+
+## Как запустить лабораторную
+Запустить файл main.py
+## Используемые технологии
+Библиотеки numpy, scikit-learn, их компоненты
+## Описание лабораторной (программы)
+Данный код выполняет оценку важности признаков в задаче регрессии. 
+
+Сначала генерируются исходные данные с использованием 14 признаков (X) и функции-выхода (Y), которая представляет собой регрессионную проблему Фридмана. Затем используются две модели - гребневая регрессия (Ridge) и случайный лес (Random Forest) - для обучения на данных и оценки важности признаков.
+
+Затем вычисляются коэффициенты корреляции между признаками и целевой переменной, и результаты сохраняются в словаре ranks с ключом "Correlation".
+
+Далее в цикле вычисляются средние значения оценок важности признаков для каждого признака. Результаты сохраняются в словаре mean.
+
+Как результат, программа выводит оценки важности для каждой модели и средние значения важности для каждого признака
+## Результат
+
+В результате получаем следующее:
+
+Ridge  
+[('x4', 1.0), ('x14', 0.92), ('x1', 0.76), ('x2', 0.75), ('x12', 0.67), ('x5', 0.61), ('x11', 0.59), ('x6', 0.08), ('x8', 0.08), ('x3', 0.06), ('x7', 0.03), ('x10', 0.01), ('x9', 0.0), ('x13', 0.0)]  
+Random Forest  
+[('x14', 1.0), ('x2', 0.76), ('x1', 0.66), ('x4', 0.55), ('x11', 0.29), ('x12', 0.28), ('x5', 0.23), ('x3', 0.1), ('x13', 0.09), ('x7', 0.01), ('x6', 0.0), ('x8', 0.0), ('x9', 0.0), ('x10', 0.0)]  
+Correlation  
+[('x4', 1.0), ('x14', 0.98), ('x2', 0.45), ('x12', 0.44), ('x1', 0.3), ('x11', 0.29), ('x5', 0.04), ('x8', 0.02), ('x7', 0.01), ('x9', 0.01), ('x3', 0.0), ('x6', 0.0), ('x10', 0.0), ('x13', 0.0)]  
+Mean Importance:  
+x14 : 0.97  
+x4 : 0.85  
+x2 : 0.65  
+x1 : 0.57  
+x12 : 0.46  
+x11 : 0.39  
+x5 : 0.29  
+x3 : 0.05  
+x6 : 0.03  
+x8 : 0.03  
+x13 : 0.03  
+x7 : 0.02  
+x9 : 0.0  
+x10 : 0.0  
+
+Вывод: Самым важным признаком в среднем оказался х14, потом х4 и далее по убывающей - х2, х1, х12, х11, х5. Остальные признаки показали минимальную значимость или не имеют ее совсем.
+
+Но стоит отметить, что несмотря на среднюю оценку признаков, разные модели выявили их значимость по-разному, что можно увидеть в тексте выше.
+Корреляция и гребневая регрессия показали чуть более схожий результат, нежели сокращение признаков случайными деревьями, хотя стоит заметить, что результаты всех моделей все равно отличаются.

belyaeva_ekaterina_lab_2/main.py

@@ -0,0 +1,74 @@
+from sklearn.linear_model import Ridge
+from sklearn.feature_selection import f_regression
+from sklearn.ensemble import RandomForestRegressor
+from sklearn.preprocessing import MinMaxScaler
+import numpy as np
+
+# генерируем исходные данные: 750 строк-наблюдений и 14 столбцов-признаков
+np.random.seed(0)
+size = 750
+X = np.random.uniform(0, 1, (size, 14))
+# Задаем функцию-выход: регрессионную проблему Фридмана
+Y = (10 * np.sin(np.pi*X[:, 0]*X[:, 1]) + 20*(X[:, 2] - .5)**2 +
+     10*X[:, 3] + 5*X[:, 4]**5 + np.random.normal(0, 1))
+# Добавляем зависимость признаков
+X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4))
+
+# Гребневая регрессия
+ridge = Ridge(alpha=7)
+ridge.fit(X, Y)
+# Случайные деревья
+rf = RandomForestRegressor(n_estimators=100, random_state=0)
+rf.fit(X, Y)
+
+ranks = {}
+
+names = ["x%s" % i for i in range(1, 15)]
+
+def rank_to_dict(ranks, names):
+    ranks = np.abs(ranks)
+    minmax = MinMaxScaler()
+    ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel()
+    ranks = map(lambda x: round(x, 2), ranks)
+    return dict(zip(names, ranks))
+
+ranks["Ridge"] = rank_to_dict(ridge.coef_, names)
+ranks["Random Forest"] = rank_to_dict(rf.feature_importances_, names)
+
+# Вычисляем коэффициенты корреляции между признаками и целевой переменной
+correlation_coeffs = f_regression(X, Y)[0]
+
+# Добавляем результаты корреляции в словарь ranks
+ranks["Correlation"] = rank_to_dict(correlation_coeffs, names)
+
+# Создаем пустой словарь для данных
+mean = {}
+
+# Бежим по словарю ranks
+for key, value in ranks.items():
+    # Пробегаемся по словарю значений ranks, которые являются парой имя:оценка
+    for item in value.items():
+        # Имя будет ключом для нашего mean
+        # Если элемента с текущим ключом в mean нет - добавляем
+        if item[0] not in mean:
+            mean[item[0]] = 0
+        # Суммируем значения по каждому ключу-имени признака
+        mean[item[0]] += item[1]
+
+# Находим среднее по каждому признаку
+for key, value in mean.items():
+    res = value / len(ranks)
+    mean[key] = round(res, 2)
+
+# Сортируем и распечатываем список
+mean = sorted(mean.items(), key=lambda x: x[1], reverse=True)
+
+for key, value in ranks.items():
+    ranks[key] = sorted(value.items(), key=lambda x: x[1], reverse=True)
+for key, value in ranks.items():
+    print(key)
+    print(value)
+
+print("Mean Importance:")
+for item in mean:
+    print(item[0], ":", item[1])