Merge pull request 'volkov_rafael_lab_2 is done' (#250) from volkov_rafael_lab_2 into main

Reviewed-on: http://student.git.athene.tech/Alexey/IIS_2023_1/pulls/250

volkov_rafael_lab_2/app.py

@@ -0,0 +1,96 @@
+from flask import Flask, request, render_template
+from sklearn.linear_model import Lasso, LinearRegression
+from sklearn.feature_selection import RFE
+from sklearn.ensemble import RandomForestRegressor
+from sklearn.preprocessing import MinMaxScaler
+import numpy as np
+
+app = Flask(__name__)
+
+# Generate random data
+np.random.seed(0)
+size = 750
+X = np.random.uniform(0, 1, (size, 14))
+Y = (10 * np.sin(np.pi * X[:, 0] * X[:, 1]) + 20 * (X[:, 2] - .5) ** 2 +
+     10 * X[:, 3] + 5 * X[:, 4] ** 5 + np.random.normal(0, 1, size))
+X[:, 10:] = X[:, :4] + np.random.normal(0, .025, (size, 4))
+
+# Define and train models
+lasso = Lasso(alpha=0.1)  # Example alpha value, you can adjust
+rfe = RFE(estimator=LinearRegression(), n_features_to_select=1)
+rf_regressor = RandomForestRegressor(n_estimators=100, random_state=0)
+
+# Number of bootstrap samples
+n_bootstrap = 100
+
+# Dictionary to store rankings
+feature_rankings = {}
+
+
+# Function to rank features using Lasso
+def rank_lasso():
+    lasso.fit(X, Y)
+    coef = lasso.coef_
+    ranking = np.abs(coef)
+    ranking = min_max_scale(ranking)
+    return ranking
+
+
+# Function to rank features using RFE
+def rank_rfe():
+    rfe.fit(X, Y)
+    ranking = rfe.ranking_
+    ranking = min_max_scale(ranking)
+    return ranking
+
+
+# Function to rank features using Random Forest Regressor
+def rank_random_forest_regressor():
+    rf_regressor.fit(X, Y)
+    ranking = rf_regressor.feature_importances_
+    ranking = min_max_scale(ranking)
+    return ranking
+
+
+# Function to scale scores to the range [0, 1]
+def min_max_scale(arr):
+    scaler = MinMaxScaler()
+    scaled = scaler.fit_transform(np.array(arr).reshape(-1, 1))
+    return scaled
+
+
+# Function to perform ranking and compute mean ranking
+def rank_features():
+    feature_rankings['Lasso'] = rank_lasso()
+    feature_rankings['RFE'] = rank_rfe()
+    feature_rankings['Random Forest Regressor'] = rank_random_forest_regressor()
+
+    # Mean ranking
+    mean_ranking = np.mean(list(feature_rankings.values()), axis=0)
+    feature_rankings['Mean Ranking'] = mean_ranking
+
+    # Get indices of the top 4 most important features
+    top_4_indices = np.argsort(mean_ranking)[-4:][::-1]
+
+    # Get feature names based on indices
+    top_4_feature_names = [f'Feature {i + 1}' for i in top_4_indices]
+
+    # Add X and Y values to the context
+    return {
+        'feature_rankings': feature_rankings,
+        'X_values': X[:, top_4_indices].tolist(),
+        'Y_values': Y.tolist(),
+        'top_4_feature_names': top_4_feature_names  # Add the most important features
+    }
+
+
+@app.route('/', methods=['GET', 'POST'])
+def index():
+    if request.method == 'POST':
+        context = rank_features()
+        return render_template('index.html', **context)
+    return render_template('index.html', feature_rankings=feature_rankings)
+
+
+if __name__ == '__main__':
+    app.run(debug=True)

volkov_rafael_lab_2/readme.md

@@ -0,0 +1,28 @@
+Общее задание:Используя код из [1] (пункт «Решение задачи ранжирования признаков»,  стр. 205), выполните ранжирование признаков с помощью указанных по варианту моделей. Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку. Проведите анализ получившихся результатов. Какие четыре признака оказались самыми важными по среднему значению? (Названия\индексы признаков и будут 
+ответом на задание).
+
+8 вариант:
+Лассо (Lasso), Рекурсивное сокращение признаков (Recursive
+Feature Elimination – RFE), Сокращение признаков Случайными деревьями
+(Random Forest Regressor)
+
+Запуск через файл app.py
+
+Технологии:
+
+Flask: веб-фреймворк для Python, используется для создания веб-приложения.
+scikit-learn: библиотека машинного обучения для Python, в данном случае, используется для реализации методов машинного обучения, таких как Lasso, RFE и Random Forest Regressor.
+NumPy: библиотека для выполнения вычислений с массивами и матрицами в Python.
+Описание работы программы:
+
+Генерация случайных данных X и Y.
+Обучение моделей машинного обучения (Lasso, RFE, Random Forest Regressor) на сгенерированных данных.
+Ранжирование признаков с использованием различных методов.
+Визуализация результатов ранжирования и отображение наиболее важных признаков.
+Входные данные:
+
+X: массив случайных данных размером (750, 14).
+Y: массив случайных данных размером (750,).
+Выходные данные:
+
+Веб-страница с результатами ранжирования признаков для каждого метода, списком самых важных признаков и таблицами значений X и Y.

volkov_rafael_lab_2/templates/index.html

@@ -0,0 +1,85 @@
+<!DOCTYPE html>
+<html lang="en">
+<head>
+    <meta charset="UTF-8">
+    <meta name="viewport" content="width=device-width, initial-scale=1.0">
+    <title>Feature Ranking</title>
+</head>
+<body>
+    <h1>Feature Ranking</h1>
+    <form method="POST">
+        <button type="submit">Выполнить</button>
+    </form>
+
+    <h2>Результаты ранжирования признаков</h2>
+    <table>
+        <tr>
+            <th>Метод</th>
+            <th>Признак 1</th>
+            <th>Признак 2</th>
+            <th>Признак 3</th>
+            <th>Признак 4</th>
+            <!-- Добавьте остальные признаки -->
+        </tr>
+        {% for method, ranking in feature_rankings.items() %}
+            <tr>
+                <td>{{ method }}</td>
+                {% for value in ranking[:4] %}
+                    <td>
+                        {% if value is iterable %}
+                            {% for item in value %}
+                                {{ item|round(2) }}{% if not loop.last %},{% endif %}
+                            {% endfor %}
+                        {% else %}
+                            {{ value|round(2) }}
+                        {% endif %}
+                    </td>
+                {% endfor %}
+            </tr>
+        {% endfor %}
+    </table>
+
+    <h2>Самые важные признаки</h2>
+    <ul>
+        {% for feature_name in top_4_feature_names %}
+            <li>{{ feature_name }}</li>
+        {% endfor %}
+    </ul>
+
+    <h2>Значения X</h2>
+    <table>
+        <tr>
+            {% for col_num in range(4) %}
+                <th>Признак {{ col_num + 1 }}</th>
+            {% endfor %}
+        </tr>
+        {% for row in X_values %}
+            <tr>
+                {% for value in row %}
+                    <td>
+                        {% if value is iterable %}
+                            {% for item in value %}
+                                {{ item|round(2) }}{% if not loop.last %},{% endif %}
+                            {% endfor %}
+                        {% else %}
+                            {{ value|round(2) }}
+                        {% endif %}
+                    </td>
+                {% endfor %}
+            </tr>
+        {% endfor %}
+    </table>
+
+    <h2>Значения Y</h2>
+    <table>
+        <tr>
+            <th>Y</th>
+        </tr>
+        {% for value in Y_values %}
+            <tr>
+                <td>{{ value|round(2) }}</td>
+            </tr>
+        {% endfor %}
+    </table>
+</body>
+</html>