Add lab2

shadaev_anton_lab_1/README.md

@@ -0,0 +1,48 @@
+# IIS_2023_1
+<h4>Задание</h4>
+<p>
+Используя код из пункта «Регуляризация и сеть прямого
+распространения» из [1] (стр. 228), сгенерируйте определенный тип данных и
+сравните на нем 3 модели (по варианту). Постройте графики, отобразите
+качество моделей, объясните полученные результаты.
+</p>
+<p>
+9. Данные: make_classification (n_samples=500, n_features=2,
+n_redundant=0, n_informative=2, random_state=rs, n_clusters_per_class=1)
+Модели:
+- Персептрон
+· Многослойный персептрон с 10-ю нейронами в скрытом слое (alpha =
+0.01)
+· Многослойный персептрон со 100-а нейронами в скрытом слое (alpha
+= 0.01)
+</p>
+<h4>Способок запуска программы</h4>
+<p>Выполнить скрипт shadaev_anton_lab_1/main.py (перед этим установить импортированные библиотеки) после которого будут нарисованы 3 графика</p>
+<h4>Стек технологий</h4>
+<p>
+    <ul>
+        <li>NumPy - это библиотека Python, предоставляющая поддержку для больших, многомерных массивов и матриц, а также набор функций для их манипуляции и обработки.</li>
+        <li>Matplotlib - это библиотека для визуализации данных в Python, предоставляющая инструменты для создания статических, анимированных и интерактивных графиков и диаграмм.</li>
+        <li>Scikit-learn - это библиотека Python, предназначенная для машинного обучения, которая содержит функции и алгоритмы для классификации, прогнозирования и разбиения данных на группы.</li>
+    </ul>
+</p>
+<h4>Описание кода</h4>
+<p>
+<ol>
+    <li>Импортирование необходимых библиотек</li>
+    <li>Создание искусственных данных с помощью функции <i>make_classification()</i> из sklearn. Данные состоят из 500 образцов.</li>
+    <li>Данные разделяются на обучающие и тестовые наборы данных с использованием функции <i>train_test_split()</i>.</li>
+    <li>Создается список моделей для обучения (Перцептрон и многослойные перцептроны).</li>
+    <li>Выполняется обучение для каждой модели, предсказание на тестовых данных и вычисление точности предсказания.</li>
+    <li>Строится кривая обучения для каждой модели и кросс-валидации с использованием функции <i>learning_curve()</i> из sklearn. Данная функция позволяет визуализировать, как производительность модели изменяется в зависимости от количества обучающих примеров.</li>
+    <li>Наконец, <i>plt.show()</i> отображает все графики.</li>
+</ol>
+<h6>Полученные графики</h6>
+Графики показывают производительность моделей при обучении на разных размерах обучающего набора данных.
+<ul>
+    <li><b>Оценка обучения</b> - кривая, показывающая среднюю точность модели на обучающем наборе данных для различных размеров обучающего набора. Это позволяет увидеть, как точность модели меняется с увеличением размера обучающего набора.</li>
+    <li><b>Оценка кросс-валидации</b> - кривая, показывающая среднюю точность модели на валидационном наборе данных для различных размеров обучающего набора. Это позволяет увидеть, как точность модели меняется с увеличением размера обучающего набора, но с использованием кросс-валидации для оценки производительности модели.</li>
+    <li><b>Оси графика:</b> Ось X представляет размер обучающего набора, а ось Y представляет среднюю точность модели.</li>
+</ul>
+<img src="myplot.png" />
+</p>

shadaev_anton_lab_1/main.py

@@ -0,0 +1,37 @@
+import numpy as np
+import matplotlib.pyplot as plt
+from sklearn.datasets import make_classification
+from sklearn.linear_model import Perceptron
+from sklearn.neural_network import MLPClassifier
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score
+
+# Наполнение искусственными данными
+rs = np.random.RandomState(42)
+X, y = make_classification(n_samples=500, n_features=2, n_redundant=0, n_informative=2, random_state=rs,
+                       n_clusters_per_class=1)
+
+# Обучающие и тестовые наборы данных
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=rs)
+
+# Список моделей для обучения
+models = [
+  ('Перцептрон', Perceptron()),
+  ('MLP (10 нейронов)', MLPClassifier(hidden_layer_sizes=(10,), alpha=0.01, random_state=rs)),
+  ('MLP (100 нейронов)', MLPClassifier(hidden_layer_sizes=(100,), alpha=0.01, random_state=rs))
+]
+
+fig, axs = plt.subplots(1, len(models), figsize=(12, 4))
+
+# Визуализация графиков
+for i, (name, model) in enumerate(models):
+  model.fit(X_train, y_train)
+  y_pred = model.predict(X_test)
+  accuracy = accuracy_score(y_test, y_pred)
+
+  axs[i].scatter(X_test[:, 0], X_test[:, 1], c=y_pred, cmap=plt.cm.Paired)
+  axs[i].set_title(f'{name} (Accuracy: {accuracy:.2f})')
+  axs[i].set_xlabel("Размер обучающего набора")
+  axs[i].set_ylabel("Средняя точность модели")
+
+plt.show()

shadaev_anton_lab_2/README.md

@@ -0,0 +1,45 @@
+# IIS_2023_1
+<h4>Задание</h4>
+<p>
+Используя код из [1](пункт «Решение задачи ранжирования признаков», стр.  205),  выполните  ранжирование  признаков  с  помощью  указанных  по варианту моделей.  Отобразите  получившиеся  значения\оценки  каждого признака  каждым  методом\моделью  и  среднюю  оценку.  Проведите  анализ получившихся  результатов.  Какие четыре признака  оказались  самыми важными  по  среднему  значению?  (Названия\индексы  признаков и  будут ответом на задание).
+</p>
+<p>
+9.
+<ul>
+    <li>Лассо (Lasso)</li>
+    <li>Сокращение признаков случайными деревьями (Random Forest Regressor) </li>
+    <li>Линейная корреляция (f-regression)</li>
+</ul>
+</p>
+<h4>Способок запуска программы</h4>
+Запустить скрипт shadaev_anton_lab_2/main.py, после чего в консоль будут выведены результаты выполнения программы.
+<h4>Стек технологий</h4>
+<p>
+    <ul>
+        <li>NumPy - это библиотека Python, предоставляющая поддержку для больших, многомерных массивов и матриц, а также набор функций для их манипуляции и обработки.</li>
+        <li>Sklearn - предоставляет ряд инструментов для моделирования данных, включая классификацию, регрессию, кластеризацию и уменьшение размерности. </li>
+</ul>
+</p>
+<h4>Описание кода</h4>
+<p>
+В этом коде мы генерируем 500 наблюдений с 15 признаками. Затем создается словарь для хранения рангов признаков для каждого метода (Lasso, Random Forest, f_regression).
+
+Функция calculate_ranks() используется для вычисления рангов признаков для каждого метода. Для этого она обучает модель (Lasso или Random Forest) на данных и затем возвращает словарь, где ключами являются имена признаков, а значениями - коэффициенты признаков модели.
+
+Если используется метод f_regression, функция возвращает словарь с f-статистиками признаков.
+
+Затем функция create_normalized_rank_dict() используется для нормализации рангов признаков. Она принимает ранги и имена признаков, приводит ранги к абсолютному значению, нормализует их с использованием MinMaxScaler из sklearn.preprocessing и возвращает словарь, где ключами являются имена признаков, а значениями - нормализованные ранги.
+
+Наконец, код вычисляет среднее значение рангов для каждого признака, сортирует признаки по средним значениям рангов в порядке убывания и выводит признаки и их ранги.
+</p>
+<h6>Результат: </h6>
+<img src="img.png">
+<p>
+<ul>
+    <li>x4, x14 - высшая значимость</li>
+    <li>x2, x12 - средняя значимость</li>
+    <li>x1, x11 - значимость ниже среднего</li>
+    <li>x5, x15 - низкая значимость</li>
+    <li>x3, x6, x7, x8, x9, x10, x13 - очень низкая значимость</li>
+</ul>
+</p>

shadaev_anton_lab_2/main.py

@@ -0,0 +1,66 @@
+from sklearn.linear_model import Lasso
+from sklearn.ensemble import RandomForestRegressor
+from sklearn.feature_selection import f_regression
+from sklearn.preprocessing import MinMaxScaler
+import numpy as np
+
+np.random.seed(0)
+
+# Генерация данных
+size = 500
+X = np.random.uniform(0, 1, (size, 15))
+Y = (10 * np.sin(np.pi * X[:, 0] * X[:, 1]) + 20 * (X[:, 2] - .5) ** 2 +
+     10 * X[:, 3] + 5 * X[:, 4] ** 5 + np.random.normal(0, 1))
+X[:, 10:] = X[:, :5] + np.random.normal(0, .025, (size, 5))
+
+# Имена признаков
+names = ["x%s" % i for i in range(1, 16)]
+
+# Ранги признаков
+ranks = {}
+
+
+# Функция для расчета рангов
+def calculate_ranks(method, X, Y):
+    if method == "Lasso":
+        model = Lasso(alpha=0.5)
+    elif method == "Random Forest":
+        model = RandomForestRegressor(n_estimators=100)
+    elif method == "f_regression":
+        f_scores, _ = f_regression(X, Y)
+        return dict(zip(names, f_scores))
+    model.fit(X, Y)
+    return dict(zip(names, model.coef_ if method == "Lasso" else model.feature_importances_))
+
+
+# Ранг для каждого метода
+for method in ["Lasso", "Random Forest", "f_regression"]:
+    ranks[method] = calculate_ranks(method, X, Y)
+
+
+# Нормализация рангов
+def create_normalized_rank_dict(ranks, names):
+    ranks = np.abs(ranks)
+    minmax = MinMaxScaler()
+    ranks = minmax.fit_transform(
+        np.array(ranks).reshape(15, 1)).ravel()
+    ranks = map(lambda x: round(x, 2), ranks)
+    return dict(zip(names, ranks))
+
+
+# Среднее значение рангов
+mean = {}
+for key, value in ranks.items():
+    for item in value.items():
+        if (item[0] not in mean):
+            mean[item[0]] = 0
+        mean[item[0]] += item[1]
+
+# Сортируем признаки по среднему значению рангов
+sorted_mean = sorted(mean.items(), key=lambda x: x[1], reverse=True)
+
+# Вывод признаков и их рангов
+result = {}
+for item in sorted_mean:
+    result[item[0]] = item[1]
+    print(f'{item[0]}: {item[1]}')