93 lines
4.3 KiB
Python
93 lines
4.3 KiB
Python
import numpy as np
|
||
from matplotlib import pyplot as plt
|
||
from matplotlib.colors import ListedColormap
|
||
from sklearn.linear_model import LinearRegression, Ridge
|
||
from sklearn.metrics import mean_squared_error
|
||
from sklearn.model_selection import train_test_split
|
||
from sklearn.pipeline import make_pipeline
|
||
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
|
||
from sklearn.datasets import make_classification
|
||
|
||
# Просто рандомное число для генерации одних и тех же данных
|
||
rs = 10
|
||
|
||
# Создаем данные с определенными параметрами
|
||
# n_samples - количество объектов
|
||
# n_features - количество признаков
|
||
# n_redundant - количество ненужных признаков
|
||
# n_informative - количество информативных признаков, которые учитываются (начиная с первого признака)
|
||
# random_state - рандомное число для генерации одних и тех же данных
|
||
# n_clusters_per_class - количество кластеров на класс
|
||
# X - матрица признаков (объекты - строки), y - целевая переменная для предсказывания
|
||
X, y = make_classification(n_samples=500,
|
||
n_features=2,
|
||
n_redundant=0,
|
||
n_informative=2,
|
||
random_state=rs,
|
||
n_clusters_per_class=1)
|
||
|
||
# Стандартизируем данные
|
||
X = StandardScaler().fit_transform(X)
|
||
|
||
# Разделяем наши данные на тестовые и тренировочные
|
||
# test_size - % тренировочных
|
||
# random_state - рандомное число для того, чтобы брать всегда определенные объекты
|
||
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=42)
|
||
|
||
# Создаем рандомный генератор
|
||
rng = np.random.RandomState(2)
|
||
|
||
# Добавляем "рандом" в данные
|
||
X += 2 * rng.uniform(size=X.shape)
|
||
linearly_dataset = (X, y)
|
||
|
||
# Создаем группу графиков 4 на 3
|
||
figure = plt.figure(1, figsize=(16, 9))
|
||
|
||
# Создаем n графиков
|
||
axis = figure.subplots(4)
|
||
|
||
# Лист цветов
|
||
cm = ListedColormap(['#5b3655', "#18d1e4"])
|
||
|
||
# Переменная для ошибок регрессий
|
||
errors = []
|
||
|
||
# Функция для выполнения всех регрессий (Линейной, полиномиальной, гребневой полиномиальной)
|
||
def make_regression(model):
|
||
# Тренируем
|
||
model.fit(X_train, y_train)
|
||
# Проверяем
|
||
model = model.predict(X_test)
|
||
# Вычисляем ошибку
|
||
errors.append(mean_squared_error(y_test, model))
|
||
return model
|
||
|
||
|
||
# Добавляет данные на графики
|
||
def add_scatter(label, data, i):
|
||
# График данных по каждой модели
|
||
axis[i].scatter(X_test[:, 0], X_test[:, 1], c=data, cmap=cm)
|
||
axis[i].set_title(label)
|
||
axis[i].set_xlabel('X')
|
||
axis[i].set_ylabel('Y')
|
||
|
||
|
||
# Получаем данные и добавляем для каждого график
|
||
results = {add_scatter('Начальные', y_test, 0),
|
||
add_scatter('Линейная регрессия', make_regression(LinearRegression()), 1),
|
||
add_scatter('Полиномиальная регрессия',
|
||
make_regression(make_pipeline(PolynomialFeatures(degree=3), LinearRegression())), 2),
|
||
add_scatter('Гребневая полиномиальная регрессия',
|
||
make_regression(make_pipeline(PolynomialFeatures(degree=3), Ridge(alpha=1.0))), 3)
|
||
}
|
||
|
||
# Добавляем расстояние между графиками
|
||
figure.subplots_adjust(hspace=0.5)
|
||
plt.show()
|
||
|
||
# Сравнение качества регрессий
|
||
print('Линейная - средняя ошибка', errors[0] * 100, ' %')
|
||
print('Полиномиальная (степень=3) - средняя ошибка', errors[1] * 100, ' %')
|
||
print('Гребневая (степень=3, alpha=1.0) - средняя ошибка', errors[2] * 100, ' %')
|