{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Лабораторная работа №3\n", "\n", "## Набор данных Students Performance in Exams (Успеваемость студентов на экзаменах)\n", "\n", "Выгрузка данных из CSV файла в датафрейм" ] }, { "cell_type": "code", "execution_count": 178, "metadata": {}, "outputs": [], "source": [ "import pandas as pd\n", "# Загрузка данных\n", "df = pd.read_csv(\"..//..//static//csv//StudentsPerformance.csv\")\n", "\n", "random_state=9" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Описание набора \n", "\n", "Контекст\n", "Оценки, полученные студентами\n", "\n", "Содержание\n", "Этот набор данных состоит из оценок, полученных учащимися по различным предметам.\n", "\n", "Вдохновение\n", "Понять влияние происхождения родителей, подготовки к тестированию и т. д. на успеваемость учащихся." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Анализ содержимого\n", "\n", "*Объекты наблюдения:* студенты, участвующие в экзаменах.\n", "\n", "*Атрибуты объектов:* \n", "\n", "1. gender — пол: определяет гендерную принадлежность студента (мужской, женский). \n", "2. race/ethnicity — этническая принадлежность: группа, к которой относится студент (например, различные расовые/этнические категории). \n", "3. parental level of education — уровень образования родителей(например, среднее образование, высшее образование и т.д.). \n", "4. lunch — тип обеда: информация о том, получает ли студент бесплатный или платный обед. \n", "5. test preparation course — курс подготовки к тесту\n", "6. math score — результаты экзаменов по математике.\n", "7. reading score — результаты экзаменов по чтению.\n", "8. writing score — результаты экзаменов по письму.\n", "\n", "\n", "### Бизнес-цель:\n", "\n", "**Цель**: Прогнозирование успеваемости студентов на основе различных факторов, таких как пол, раса/этническая принадлежность, уровень образования родителей, тип обеда и участие в подготовительных курсах. \n", "\n", "**Эффект**: Предсказание результатов студентов позволяет выявить тех, кто может столкнуться с трудностями в учебе. Это дает возможность образовательным учреждениям предпринимать превентивные меры: например, организовывать дополнительные занятия, персонализированные консультации, улучшать условия обучения и даже вмешиваться на более ранних стадиях, чтобы повысить общий уровень успеваемости.\n", "\n", "\n", "### Техническая цель\n", "**Цель**: Создание регрессионной модели, которая будет предсказывать общий балл студентов (или другой числовой показатель успеваемости) на основе категориальных и числовых данных. Это потребует использования методов линейной или нелинейной регрессии для определения зависимости между признаками (пол, уровень образования родителей и т.д.) и итоговым баллом. \n", "\n", "**Подход**: Для решения задачи нужно использовать числовые признаки, такие как \"math score\", \"reading score\", \"writing score\", и выполнить их агрегацию (например, суммирование или среднее), чтобы построить прогноз для общего балла. Модели, такие как линейная регрессия или регрессия на основе деревьев решений, подойдут для этого. у которых ожидаются низкие результаты на экзаменах, тем самым повышая их шансы на успешную сдачу экзаменов.\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Конструирование признаков для решения задач\n", "\n", "Можно создать новый признак, который будет представлять общую успеваемость студента. Например, можно суммировать баллы по всем предметам и создать общий балл. \n" ] }, { "cell_type": "code", "execution_count": 179, "metadata": {}, "outputs": [], "source": [ "df['total_score'] = df['math score'] + df['reading score'] + df['writing score']\n", "df = df.drop(columns=['math score', 'reading score', 'writing score'])\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Выберем три модели для задач регрессии\n", "\n", "1. Линейная регрессия служит базовой моделью, чтобы понять, насколько линейны зависимости между признаками и целевой переменной. Это важный шаг для проверки простых гипотез.\n", "\n", "2. Случайный лес используется для обработки данных с более сложными зависимостями, когда данные могут содержать нелинейные связи, которые линейная регрессия не может уловить.\n", "\n", "3. Градиентный бустинг — это более сложная модель, которая позволяет добиться высокой точности, особенно при наличии сложных закономерностей в данных. Он может предложить лучшее качество прогноза при оптимальной настройке гиперпараметров.\n", "\n", "Эти три модели дадут нам хорошее сочетание простоты (линейная регрессия), гибкости (случайный лес) и мощности (градиентный бустинг), что позволит тщательно исследовать зависимости и добиться хорошего качества предсказаний." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Разделение набора данных на обучающую и тестовые выборки (80/20) для задачи регрессии и создание ориентира\n", "\n", "Целевой признак -- total_score" ] }, { "cell_type": "code", "execution_count": 180, "metadata": {}, "outputs": [], "source": [ "from sklearn.model_selection import train_test_split\n", "\n", "# Разбиение на признаки и целевую переменную\n", "X = df.drop(columns=[\"total_score\"]) # Признаки\n", "y = df[\"total_score\"] # Целевая переменная\n", "\n", "# Разбиение на обучающую и тестовую выборки\n", "X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=random_state)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Формирование конвейера" ] }, { "cell_type": "code", "execution_count": 181, "metadata": {}, "outputs": [], "source": [ "from sklearn.compose import ColumnTransformer\n", "from sklearn.discriminant_analysis import StandardScaler\n", "from sklearn.impute import SimpleImputer\n", "from sklearn.pipeline import Pipeline\n", "from sklearn.preprocessing import OneHotEncoder\n", "\n", "# Пайплайн для обработки признаков\n", "columns_to_drop = [\"total_score\"]\n", "num_columns = [column for column in X.columns if X[column].dtype != \"object\"]\n", "cat_columns = [column for column in X.columns if X[column].dtype == \"object\"]\n", "\n", "# Обработчики для числовых и категориальных признаков\n", "num_imputer = SimpleImputer(strategy=\"median\")\n", "num_scaler = StandardScaler()\n", "preprocessing_num = Pipeline([(\"imputer\", num_imputer), (\"scaler\", num_scaler)])\n", "\n", "cat_imputer = SimpleImputer(strategy=\"constant\", fill_value=\"unknown\")\n", "cat_encoder = OneHotEncoder(handle_unknown=\"ignore\", sparse_output=False, drop=\"first\")\n", "preprocessing_cat = Pipeline([(\"imputer\", cat_imputer), (\"encoder\", cat_encoder)])\n", "\n", "# Обрабатываем признаки\n", "features_preprocessing = ColumnTransformer(\n", " transformers=[\n", " (\"prepocessing_num\", preprocessing_num, num_columns),\n", " (\"prepocessing_cat\", preprocessing_cat, cat_columns),\n", " ],\n", " remainder=\"passthrough\"\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Настройка гиперпараметров для каждой модели и обучение" ] }, { "cell_type": "code", "execution_count": 182, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
GridSearchCV(cv=5,\n",
       "             estimator=Pipeline(steps=[('features_preprocessing',\n",
       "                                        ColumnTransformer(remainder='passthrough',\n",
       "                                                          transformers=[('prepocessing_num',\n",
       "                                                                         Pipeline(steps=[('imputer',\n",
       "                                                                                          SimpleImputer(strategy='median')),\n",
       "                                                                                         ('scaler',\n",
       "                                                                                          StandardScaler())]),\n",
       "                                                                         []),\n",
       "                                                                        ('prepocessing_cat',\n",
       "                                                                         Pipeline(steps=[('imputer',\n",
       "                                                                                          SimpleImputer(fill_value='unknown',\n",
       "                                                                                                        strategy='constant')),\n",
       "                                                                                         ('enc...\n",
       "                                                                                          OneHotEncoder(drop='first',\n",
       "                                                                                                        handle_unknown='ignore',\n",
       "                                                                                                        sparse_output=False))]),\n",
       "                                                                         ['gender',\n",
       "                                                                          'race/ethnicity',\n",
       "                                                                          'parental '\n",
       "                                                                          'level '\n",
       "                                                                          'of '\n",
       "                                                                          'education',\n",
       "                                                                          'lunch',\n",
       "                                                                          'test '\n",
       "                                                                          'preparation '\n",
       "                                                                          'course'])])),\n",
       "                                       ('model',\n",
       "                                        GradientBoostingRegressor(random_state=9))]),\n",
       "             n_jobs=-1,\n",
       "             param_grid={'model__learning_rate': [0.01, 0.1, 0.2],\n",
       "                         'model__max_depth': [3, 5, 7],\n",
       "                         'model__n_estimators': [50, 100, 200]})
In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.
" ], "text/plain": [ "GridSearchCV(cv=5,\n", " estimator=Pipeline(steps=[('features_preprocessing',\n", " ColumnTransformer(remainder='passthrough',\n", " transformers=[('prepocessing_num',\n", " Pipeline(steps=[('imputer',\n", " SimpleImputer(strategy='median')),\n", " ('scaler',\n", " StandardScaler())]),\n", " []),\n", " ('prepocessing_cat',\n", " Pipeline(steps=[('imputer',\n", " SimpleImputer(fill_value='unknown',\n", " strategy='constant')),\n", " ('enc...\n", " OneHotEncoder(drop='first',\n", " handle_unknown='ignore',\n", " sparse_output=False))]),\n", " ['gender',\n", " 'race/ethnicity',\n", " 'parental '\n", " 'level '\n", " 'of '\n", " 'education',\n", " 'lunch',\n", " 'test '\n", " 'preparation '\n", " 'course'])])),\n", " ('model',\n", " GradientBoostingRegressor(random_state=9))]),\n", " n_jobs=-1,\n", " param_grid={'model__learning_rate': [0.01, 0.1, 0.2],\n", " 'model__max_depth': [3, 5, 7],\n", " 'model__n_estimators': [50, 100, 200]})" ] }, "execution_count": 182, "metadata": {}, "output_type": "execute_result" } ], "source": [ "from sklearn.linear_model import LinearRegression\n", "from sklearn.ensemble import RandomForestRegressor\n", "from sklearn.ensemble import GradientBoostingRegressor\n", "from sklearn.model_selection import GridSearchCV\n", "from sklearn.pipeline import Pipeline\n", "\n", "# 1. Линейная регрессия\n", "linear_model = LinearRegression()\n", "\n", "# Параметры для настройки\n", "linear_param_grid = {\n", " 'model__fit_intercept': [True, False], # Использовать ли свободный член\n", "}\n", "\n", "# 2. Случайный лес\n", "rf_model = RandomForestRegressor(random_state=random_state)\n", "\n", "# Параметры для настройки\n", "rf_param_grid = {\n", " 'model__n_estimators': [50, 100, 200],\n", " 'model__max_depth': [None, 10, 20],\n", " 'model__min_samples_split': [2, 5],\n", " 'model__min_samples_leaf': [1, 2],\n", " 'model__max_features': ['sqrt', 'log2'], # Заменить 'auto' на 'sqrt'\n", "}\n", "\n", "# 3. Градиентный бустинг\n", "gb_model = GradientBoostingRegressor(random_state=random_state)\n", "\n", "# Параметры для настройки\n", "gb_param_grid = {\n", " 'model__n_estimators': [50, 100, 200], # Количество деревьев\n", " 'model__learning_rate': [0.01, 0.1, 0.2], # Темп обучения\n", " 'model__max_depth': [3, 5, 7], # Максимальная глубина деревьев\n", "}\n", "\n", "# Создание пайплайна для линейной регрессии\n", "linear_pipeline = Pipeline([\n", " (\"features_preprocessing\", features_preprocessing),\n", " (\"model\", linear_model)\n", "])\n", "\n", "# Создание пайплайна для случайного леса\n", "rf_pipeline = Pipeline([\n", " (\"features_preprocessing\", features_preprocessing),\n", " (\"model\", rf_model)\n", "])\n", "\n", "# Создание пайплайна для градиентного бустинга\n", "gb_pipeline = Pipeline([\n", " (\"features_preprocessing\", features_preprocessing),\n", " (\"model\", gb_model)\n", "])\n", "\n", "# Настройка гиперпараметров с использованием GridSearchCV\n", "linear_search = GridSearchCV(linear_pipeline, linear_param_grid, cv=5, n_jobs=-1)\n", "rf_search = GridSearchCV(rf_pipeline, rf_param_grid, cv=5, n_jobs=-1)\n", "gb_search = GridSearchCV(gb_pipeline, gb_param_grid, cv=5, n_jobs=-1)\n", "\n", "# Обучение моделей\n", "linear_search.fit(X_train, y_train.values.ravel()) # Преобразуем y_train в одномерный массив\n", "rf_search.fit(X_train, y_train.values.ravel()) # Преобразуем y_train в одномерный массив\n", "gb_search.fit(X_train, y_train.values.ravel()) # Преобразуем y_train в одномерный массив\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Оценка качества моделей\n", "\n", "Для оценки качества моделей будем использовать следующие метрики:\n", "\n", "R^2 — это классическая метрика для оценки качества модели в регрессии. Она покажет, насколько хорошо модель объясняет данные, и полезна, чтобы понять, имеет ли смысл использовать модель.\n", "\n", "MAE и MSE — они дают представление о точности модели и масштабах ошибок. MAE поможет понять средний уровень ошибки, а MSE и RMSE — сосредоточатся на более крупных ошибках, что может быть критично для задач, где крупные ошибки имеют большое значение.\n", "\n", "RMSE полезна в контексте конкретных приложений, когда важно понять ошибку в тех же единицах, что и целевая переменная, особенно если данные в регрессии имеют четкую физическую или экономическую интерпретацию." ] }, { "cell_type": "code", "execution_count": 183, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Linear Regression - R^2: 0.25121834623887884, MAE: 30.509764831673372, MSE: 1399.0220694458058, RMSE: 37.403503438124694\n", "Random Forest - R^2: 0.19039682481837739, MAE: 31.82764043548629, MSE: 1512.6608723426755, RMSE: 38.89294116343833\n", "Gradient Boosting - R^2: 0.19994717344160973, MAE: 31.688226363085978, MSE: 1494.8170210307603, RMSE: 38.66286359067006\n" ] } ], "source": [ "from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score\n", "\n", "# Прогнозы для каждой модели\n", "y_pred_linear = linear_search.predict(X_test)\n", "y_pred_rf = rf_search.predict(X_test)\n", "y_pred_gb = gb_search.predict(X_test)\n", "\n", "# R^2\n", "r2_linear = r2_score(y_test, y_pred_linear)\n", "r2_rf = r2_score(y_test, y_pred_rf)\n", "r2_gb = r2_score(y_test, y_pred_gb)\n", "\n", "# MAE\n", "mae_linear = mean_absolute_error(y_test, y_pred_linear)\n", "mae_rf = mean_absolute_error(y_test, y_pred_rf)\n", "mae_gb = mean_absolute_error(y_test, y_pred_gb)\n", "\n", "# MSE\n", "mse_linear = mean_squared_error(y_test, y_pred_linear)\n", "mse_rf = mean_squared_error(y_test, y_pred_rf)\n", "mse_gb = mean_squared_error(y_test, y_pred_gb)\n", "\n", "# RMSE\n", "rmse_linear = mse_linear ** 0.5\n", "rmse_rf = mse_rf ** 0.5\n", "rmse_gb = mse_gb ** 0.5\n", "\n", "# Вывод результатов\n", "print(f\"Linear Regression - R^2: {r2_linear}, MAE: {mae_linear}, MSE: {mse_linear}, RMSE: {rmse_linear}\")\n", "print(f\"Random Forest - R^2: {r2_rf}, MAE: {mae_rf}, MSE: {mse_rf}, RMSE: {rmse_rf}\")\n", "print(f\"Gradient Boosting - R^2: {r2_gb}, MAE: {mae_gb}, MSE: {mse_gb}, RMSE: {rmse_gb}\")\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Линейная регрессия: По всем метрикам (R^2, MAE, MSE, RMSE) линейная регрессия показывает лучшие результаты. Она объясняет большую часть вариации в данных и имеет наименьшие ошибки как в абсолютных величинах, так и в квадратных отклонениях.\n", "\n", "Random Forest и Gradient Boosting: Эти модели показывают худшие результаты по сравнению с линейной регрессией, как по объяснению вариации данных, так и по величине ошибок." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Оценка смещения и дисперсии лучшей модели (линейная регрессия)." ] }, { "cell_type": "code", "execution_count": 184, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Смещение (Bias): 0.13896485197494712\n", "Дисперсия (Variance): 432.34643616182956\n", "RMSE: 37.95928016105437\n" ] } ], "source": [ "import numpy as np\n", "from sklearn.model_selection import cross_val_predict, KFold\n", "from sklearn.metrics import mean_squared_error\n", "\n", "# Количество фолдов для кросс-валидации\n", "n_splits = 5\n", "kf = KFold(n_splits=n_splits, shuffle=True, random_state=42)\n", "\n", "# Прогнозы с использованием кросс-валидации с конвейером\n", "y_pred = cross_val_predict(linear_pipeline, X_train, y_train.values.ravel(), cv=kf)\n", "\n", "# Среднее значение целевой переменной\n", "y_true_mean = np.mean(y_train)\n", "\n", "# Смещение: разница между средним предсказанием модели и средним значением целевой переменной\n", "bias = np.mean(y_pred) - y_true_mean\n", "\n", "# Дисперсия: среднее отклонение предсказаний от среднего предсказания\n", "variance = np.mean((y_pred - np.mean(y_pred)) ** 2)\n", "\n", "# Средняя ошибка (для контекста)\n", "mse = mean_squared_error(y_train, y_pred)\n", "rmse = np.sqrt(mse)\n", "\n", "# Выводим результаты\n", "print(f\"Смещение (Bias): {bias}\")\n", "print(f\"Дисперсия (Variance): {variance}\")\n", "print(f\"RMSE: {rmse}\")\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Смещение и дисперсия вместе составляют основную часть ошибки модели. Смещение (bias) относительно невелико, но модель имеет достаточно высокую дисперсию. Это означает, что модель может страдать от переобучения (overfitting), то есть она слишком хорошо подгоняется под обучающие данные и не обобщает информацию на новые данные. В таких случаях модель может показывать хорошие результаты на обучающих данных, но её способность предсказывать для новых, невиданных данных может быть ограничена.\n", "\n", "RMSE также указывает на наличие значительных ошибок в предсказаниях, и, вероятно, модель нуждается в улучшении. " ] } ], "metadata": { "kernelspec": { "display_name": "aimvenv", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.12.6" } }, "nbformat": 4, "nbformat_minor": 2 }