diff --git a/belyaeva_ekaterina_lab_2/README.md b/belyaeva_ekaterina_lab_2/README.md new file mode 100644 index 0000000..8383c72 --- /dev/null +++ b/belyaeva_ekaterina_lab_2/README.md @@ -0,0 +1,55 @@ +## Задание + +Используя код из пункта «Решение задачи ранжирования признаков», выполните ранжирование признаков с помощью указанных по варианту моделей. Отобразите получившиеся оценки каждого признака каждой моделью и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались самыми важными по среднему значению? (Названия\индексы признаков и будут ответом на задание). + +Вариант 6: + +- Гребневая регрессия (Ridge) +- Сокращение признаков Случайными деревьями (Random Forest Regressor) +- Линейная корреляция (f_regression) + + +## Как запустить лабораторную +Запустить файл main.py +## Используемые технологии +Библиотеки numpy, scikit-learn, их компоненты +## Описание лабораторной (программы) +Данный код выполняет оценку важности признаков в задаче регрессии. + +Сначала генерируются исходные данные с использованием 14 признаков (X) и функции-выхода (Y), которая представляет собой регрессионную проблему Фридмана. Затем используются две модели - гребневая регрессия (Ridge) и случайный лес (Random Forest) - для обучения на данных и оценки важности признаков. + +Затем вычисляются коэффициенты корреляции между признаками и целевой переменной, и результаты сохраняются в словаре ranks с ключом "Correlation". + +Далее в цикле вычисляются средние значения оценок важности признаков для каждого признака. Результаты сохраняются в словаре mean. + +Как результат, программа выводит оценки важности для каждой модели и средние значения важности для каждого признака +## Результат + +В результате получаем следующее: + +Ridge +[('x4', 1.0), ('x14', 0.92), ('x1', 0.76), ('x2', 0.75), ('x12', 0.67), ('x5', 0.61), ('x11', 0.59), ('x6', 0.08), ('x8', 0.08), ('x3', 0.06), ('x7', 0.03), ('x10', 0.01), ('x9', 0.0), ('x13', 0.0)] +Random Forest +[('x14', 1.0), ('x2', 0.76), ('x1', 0.66), ('x4', 0.55), ('x11', 0.29), ('x12', 0.28), ('x5', 0.23), ('x3', 0.1), ('x13', 0.09), ('x7', 0.01), ('x6', 0.0), ('x8', 0.0), ('x9', 0.0), ('x10', 0.0)] +Correlation +[('x4', 1.0), ('x14', 0.98), ('x2', 0.45), ('x12', 0.44), ('x1', 0.3), ('x11', 0.29), ('x5', 0.04), ('x8', 0.02), ('x7', 0.01), ('x9', 0.01), ('x3', 0.0), ('x6', 0.0), ('x10', 0.0), ('x13', 0.0)] +Mean Importance: +x14 : 0.97 +x4 : 0.85 +x2 : 0.65 +x1 : 0.57 +x12 : 0.46 +x11 : 0.39 +x5 : 0.29 +x3 : 0.05 +x6 : 0.03 +x8 : 0.03 +x13 : 0.03 +x7 : 0.02 +x9 : 0.0 +x10 : 0.0 + +Вывод: Самым важным признаком в среднем оказался х14, потом х4 и далее по убывающей - х2, х1, х12, х11, х5. Остальные признаки показали минимальную значимость или не имеют ее совсем. + +Но стоит отметить, что несмотря на среднюю оценку признаков, разные модели выявили их значимость по-разному, что можно увидеть в тексте выше. +Корреляция и гребневая регрессия показали чуть более схожий результат, нежели сокращение признаков случайными деревьями, хотя стоит заметить, что результаты всех моделей все равно отличаются. \ No newline at end of file diff --git a/belyaeva_ekaterina_lab_2/main.py b/belyaeva_ekaterina_lab_2/main.py new file mode 100644 index 0000000..1be86b1 --- /dev/null +++ b/belyaeva_ekaterina_lab_2/main.py @@ -0,0 +1,74 @@ +from sklearn.linear_model import Ridge +from sklearn.feature_selection import f_regression +from sklearn.ensemble import RandomForestRegressor +from sklearn.preprocessing import MinMaxScaler +import numpy as np + +# генерируем исходные данные: 750 строк-наблюдений и 14 столбцов-признаков +np.random.seed(0) +size = 750 +X = np.random.uniform(0, 1, (size, 14)) +# Задаем функцию-выход: регрессионную проблему Фридмана +Y = (10 * np.sin(np.pi*X[:, 0]*X[:, 1]) + 20*(X[:, 2] - .5)**2 + + 10*X[:, 3] + 5*X[:, 4]**5 + np.random.normal(0, 1)) +# Добавляем зависимость признаков +X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4)) + +# Гребневая регрессия +ridge = Ridge(alpha=7) +ridge.fit(X, Y) +# Случайные деревья +rf = RandomForestRegressor(n_estimators=100, random_state=0) +rf.fit(X, Y) + +ranks = {} + +names = ["x%s" % i for i in range(1, 15)] + +def rank_to_dict(ranks, names): + ranks = np.abs(ranks) + minmax = MinMaxScaler() + ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel() + ranks = map(lambda x: round(x, 2), ranks) + return dict(zip(names, ranks)) + +ranks["Ridge"] = rank_to_dict(ridge.coef_, names) +ranks["Random Forest"] = rank_to_dict(rf.feature_importances_, names) + +# Вычисляем коэффициенты корреляции между признаками и целевой переменной +correlation_coeffs = f_regression(X, Y)[0] + +# Добавляем результаты корреляции в словарь ranks +ranks["Correlation"] = rank_to_dict(correlation_coeffs, names) + +# Создаем пустой словарь для данных +mean = {} + +# Бежим по словарю ranks +for key, value in ranks.items(): + # Пробегаемся по словарю значений ranks, которые являются парой имя:оценка + for item in value.items(): + # Имя будет ключом для нашего mean + # Если элемента с текущим ключом в mean нет - добавляем + if item[0] not in mean: + mean[item[0]] = 0 + # Суммируем значения по каждому ключу-имени признака + mean[item[0]] += item[1] + +# Находим среднее по каждому признаку +for key, value in mean.items(): + res = value / len(ranks) + mean[key] = round(res, 2) + +# Сортируем и распечатываем список +mean = sorted(mean.items(), key=lambda x: x[1], reverse=True) + +for key, value in ranks.items(): + ranks[key] = sorted(value.items(), key=lambda x: x[1], reverse=True) +for key, value in ranks.items(): + print(key) + print(value) + +print("Mean Importance:") +for item in mean: + print(item[0], ":", item[1]) \ No newline at end of file