import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.feature_selection import f_regression from sklearn.linear_model import Ridge from sklearn.preprocessing import MinMaxScaler def rank_to_dict(ranks, names): ranks = np.abs(ranks) minmax = MinMaxScaler() ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel() ranks = map(lambda x: round(x, 2), ranks) return dict(zip(names, ranks)) # генерируем исходные данные: 750 строк-наблюдений и 14 столбцов-признаков np.random.seed(0) size = 750 X = np.random.uniform(0, 1, (size, 14)) # Задаем функцию-выход: регрессионную проблему Фридмана Y = (10 * np.sin(np.pi * X[:, 0] * X[:, 1]) + 20 * (X[:, 2] - .5) ** 2 + 10 * X[:, 3] + 5 * X[:, 4] ** 5 + np.random.normal(0, 1)) # Добавляем зависимость признаков X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4)) # Гребневая регрессия ridge = Ridge(alpha=7) ridge.fit(X, Y) # Сокращение признаков случайными деревьями rf = RandomForestRegressor() rf.fit(X, Y) # Линейная корреляция f_values, _ = f_regression(X, Y) names = ["x%s" % i for i in range(1, 15)] ranks = dict() ranks["Гребневая регрессия"] = rank_to_dict(ridge.coef_, names) ranks["Сокращение признаков случайными деревьями"] = rank_to_dict(rf.feature_importances_, names) ranks["Линейная корреляция"] = rank_to_dict(f_values, names) # Создаем пустой список для данных mean = {} # «Бежим» по списку ranks for key, value in ranks.items(): for item in value.items(): if item[0] not in mean: mean[item[0]] = 0 mean[item[0]] += item[1] for key, value in mean.items(): res = value / len(ranks) mean[key] = round(res, 2) mean = sorted(mean.items(), key=lambda x: x[1], reverse=True) print("Средние оценки:") print(mean) print() for key, value in ranks.items(): ranks[key] = sorted(value.items(), key=lambda x: x[1], reverse=True) for key, value in ranks.items(): print(key) print(value) print() print("Средние оценки:") print(mean[:4]) for key, value in ranks.items(): print(f"Главные признаки для модели '{key}':") print(value[:4])