IIS_2023_1/podkorytova_yulia_lab_2/lr2.py

67 lines
2.6 KiB
Python
Raw Normal View History

2023-10-27 05:35:21 +04:00
from sklearn.feature_selection import f_regression
from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.preprocessing import MinMaxScaler
import numpy as np
def rank_to_dict(ranks, names):
ranks = np.abs(ranks)
minmax = MinMaxScaler()
ranks = minmax.fit_transform(np.array(ranks).reshape(14, 1)).ravel()
ranks = map(lambda x: round(x, 2), ranks)
return dict(zip(names, ranks))
def mean_ranks(ranks):
mean = {} # словарь для хранения средних рангов признаков
for key, value in ranks.items():
for item in value.items():
if item[0] not in mean:
mean[item[0]] = 0
mean[item[0]] += item[1]
for key, value in mean.items():
res = value / len(ranks)
mean[key] = round(res, 2)
sorted_mean = sorted(mean.items(), key=lambda x: x[1], reverse=True)
return sorted_mean
# генерируем исходные данные: 750 строк-наблюдений и 14 столбцов-признаков
np.random.seed(0)
size = 750
X = np.random.uniform(0, 1, (size, 14))
# задаем функцию-выход: регрессионную проблему Фридмана
Y = (10 * np.sin(np.pi*X[:,0]*X[:,1]) + 20*(X[:,2] - .5)**2 + 10*X[:,3] + 5*X[:,4]**5 + np.random.normal(0,1))
# добавляем зависимость признаков
X[:,10:] = X[:,:4] + np.random.normal(0, .025, (size,4))
# создаем модели
linear_regression = LinearRegression()
ridge = Ridge()
lasso = Lasso(alpha=.05)
f, pval = f_regression(X, Y, center=True)
models = [("Линейная регрессия", linear_regression),
("Гребневая регрессия", ridge),
("Лассо", lasso),
("Линейная корреляция", f)]
names = ["x%s" % i for i in range(1,15)] # список содержащий, имена признаков
ranks = {} # словарь для хранения рангов признаков
for (name, model) in models:
if name != "Линейная корреляция":
model.fit(X, Y) # тренируем модель
ranks[name] = rank_to_dict(model.coef_, names) # преобразуем признаки в словарь
else:
ranks[name] = rank_to_dict(model, names)
print("-----ОЦЕНКИ ПРИЗНАКОВ-----")
for key, value in ranks.items():
print(key, ":")
for item in value.items():
print(item[0], "-", item[1])
print()
print("---СРЕДНИЕ ОЦЕНКИ ПРИЗНАКОВ---")
for r in mean_ranks(ranks):
print(r[0], "-", r[1])