AIM-PIbd-31-Masenkin-M-S/lab_2/lab2.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Датасет №1: [Объекты вокруг Земли](https://www.kaggle.com/datasets/sameepvani/nasa-nearest-earth-objects).\n",
    "\n",
    "### Описание датасета:\n",
    "Данный набор данных представляет собой коллекцию сведений о ближайших к Земле объектах (астероидах), сертифицированных NASA. Он содержит данные, которые могут помочь идентифицировать потенциально опасные астероиды, которые могут оказать влияние на Землю или на космические миссии. Набор данных включает в себя такие ключевые характеристики астероидов, как их размер, скорость, расстояние до Земли и информация о возможной опасности столкновения.\n",
    "\n",
    "---\n",
    "\n",
    "### Анализ сведений:\n",
    "**Проблемная область:**\n",
    "Основной проблемной областью является отслеживание и оценка рисков, связанных с приближением астероидов к Земле. С помощью данных о движении и характеристиках астероидов можно предсказать возможные столкновения и минимизировать угрозу для Земли, планируя превентивные действия.\n",
    "\n",
    "**Актуальность:**\n",
    "Набор данных высокоактуален для задач оценки рисков от космических объектов, мониторинга космического пространства и разработки превентивных мер по защите Земли. Также он важен для научных исследований в области астрономии и планетарной безопасности.\n",
    "\n",
    "**Объекты наблюдения:**\n",
    "Объектами наблюдения в данном наборе данных являются астероиды, классифицированные NASA как \"ближайшие к Земле объекты\" (Near-Earth Objects, NEO). Эти объекты могут проходить в непосредственной близости от Земли, что потенциально представляет опасность.\n",
    "\n",
    "**Атрибуты объектов:**\n",
    "- id: Уникальный идентификатор астероида.\n",
    "- name: Название, присвоенное астероиду NASA.\n",
    "- est_diameter_min: Минимальный оценочные диаметры астероида в километрах.\n",
    "- est_diameter_max: Максимальный оценочные диаметры астероида в километрах.\n",
    "- relative_velocity: Скорость астероида относительно Земли (в км/с).\n",
    "- miss_distance: Расстояние, на котором астероид пролетел мимо Земли, в километрах.\n",
    "- orbiting_body: Планета, вокруг которой вращается астероид.\n",
    "- sentry_object: Признак, указывающий на наличие астероида в системе автоматического мониторинга столкновений (система Sentry).\n",
    "- absolute_magnitude: Абсолютная величина, описывающая яркость объекта.\n",
    "- hazardous: Булев признак, указывающий, является ли астероид потенциально опасным.\n",
    "\n",
    "**Связь между объектами:**\n",
    "В данном наборе данных отсутствует явная связь между астероидами, однако на основе орбитальных параметров можно исследовать группы объектов, имеющие схожие орбиты или величины риска столкновения с Землей.\n",
    "\n",
    "---\n",
    "\n",
    "### Качество набора данных:\n",
    "**Информативность:**\n",
    "Датасет предоставляет важные сведения о ключевых характеристиках астероидов, такие как размер, скорость и расстояние от Земли, что позволяет проводить качественный анализ их потенциальной опасности.\n",
    "\n",
    "**Степень покрытия:**\n",
    "Набор данных включает данные о большом количестве астероидов (>90000 записей), что позволяет охватить значительную часть ближайших к Земле объектов. Однако не все астероиды могут быть обнаружены, так как данные зависят от возможности их наблюдения.\n",
    "\n",
    "**Соответствие реальным данным:**\n",
    "Данные в наборе предоставлены NASA, что указывает на высокую достоверность и актуальность информации. Тем не менее, параметры, такие как диаметр и расстояние, могут быть оценочными и подвергаться уточнению с новыми наблюдениями.\n",
    "\n",
    "**Согласованность меток:**\n",
    "Метрики в датасете четко обозначены, а булевы признаки, такие как \"hazardous\" (опасен или нет), соответствуют конкретным параметрам астероидов и легко интерпретируются.\n",
    "\n",
    "---\n",
    "\n",
    "### Бизес-цели:\n",
    "1. **Мониторинг космических угроз:**\n",
    "Создание системы, которая анализирует астероиды и предсказывает риски столкновения с Землей, помогая государственным агентствам и частным компаниям разрабатывать превентивные меры.\n",
    "2. **Поддержка космических миссий:**\n",
    "Предоставление точных данных для планирования и безопасного проведения космических миссий, минимизация рисков столкновения с космическими объектами.\n",
    "3. **Образовательные и научные исследования:**\n",
    "Использование данных для поддержки образовательных программ и научных исследований в области астрономии и космической безопасности.\n",
    "\n",
    "**Эффект для бизнеса:**\n",
    "Набор данных способствует развитию технологий космической безопасности, минимизирует финансовые риски от потенциальных катастроф и поддерживает стратегическое планирование космических миссий.\n",
    "\n",
    "---\n",
    "\n",
    "### Технические цели:\n",
    "1. **Моделирование риска столкновения:**\n",
    "Построение алгоритмов машинного обучения для прогнозирования вероятности столкновения астероидов с Землей.\n",
    "2. **Анализ и кластеризация астероидов:**\n",
    "Исследование взаимосвязей между астероидами, анализ орбитальных данных и выделение групп астероидов, имеющих схожие характеристики.\n",
    "3. **Оптимизация системы предупреждения угроз:**\n",
    "Создание системы раннего оповещения, которая будет автоматически анализировать данные и предупреждать о потенциальных угрозах в реальном времени.\n",
    "\n",
    "**Входные данные:**\n",
    "Диаметр, скорость, расстояние, орбитальные параметры астероидов.\n",
    "\n",
    "**Целевой признак:**\n",
    "Признак \"hazardous\" – бинарная метка, указывающая на потенциальную опасность астероида.\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Выгрузка данных из файла в DataFrame:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import Any\n",
    "from math import ceil\n",
    "\n",
    "import pandas as pd\n",
    "from pandas import DataFrame, Series\n",
    "from sklearn.model_selection import train_test_split\n",
    "from imblearn.over_sampling import ADASYN\n",
    "from imblearn.under_sampling import RandomUnderSampler\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "\n",
    "df: DataFrame = pd.read_csv('..//static//csv//neo.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Краткая информация о DataFrame:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 90836 entries, 0 to 90835\n",
      "Data columns (total 10 columns):\n",
      " #   Column              Non-Null Count  Dtype  \n",
      "---  ------              --------------  -----  \n",
      " 0   id                  90836 non-null  int64  \n",
      " 1   name                90836 non-null  object \n",
      " 2   est_diameter_min    90836 non-null  float64\n",
      " 3   est_diameter_max    90836 non-null  float64\n",
      " 4   relative_velocity   90836 non-null  float64\n",
      " 5   miss_distance       90836 non-null  float64\n",
      " 6   orbiting_body       90836 non-null  object \n",
      " 7   sentry_object       90836 non-null  bool   \n",
      " 8   absolute_magnitude  90836 non-null  float64\n",
      " 9   hazardous           90836 non-null  bool   \n",
      "dtypes: bool(2), float64(5), int64(1), object(2)\n",
      "memory usage: 5.7+ MB\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>count</th>\n",
       "      <th>mean</th>\n",
       "      <th>std</th>\n",
       "      <th>min</th>\n",
       "      <th>25%</th>\n",
       "      <th>50%</th>\n",
       "      <th>75%</th>\n",
       "      <th>max</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>id</th>\n",
       "      <td>90836.0</td>\n",
       "      <td>1.438288e+07</td>\n",
       "      <td>2.087202e+07</td>\n",
       "      <td>2.000433e+06</td>\n",
       "      <td>3.448110e+06</td>\n",
       "      <td>3.748362e+06</td>\n",
       "      <td>3.884023e+06</td>\n",
       "      <td>5.427591e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>est_diameter_min</th>\n",
       "      <td>90836.0</td>\n",
       "      <td>1.274321e-01</td>\n",
       "      <td>2.985112e-01</td>\n",
       "      <td>6.089126e-04</td>\n",
       "      <td>1.925551e-02</td>\n",
       "      <td>4.836765e-02</td>\n",
       "      <td>1.434019e-01</td>\n",
       "      <td>3.789265e+01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>est_diameter_max</th>\n",
       "      <td>90836.0</td>\n",
       "      <td>2.849469e-01</td>\n",
       "      <td>6.674914e-01</td>\n",
       "      <td>1.361570e-03</td>\n",
       "      <td>4.305662e-02</td>\n",
       "      <td>1.081534e-01</td>\n",
       "      <td>3.206564e-01</td>\n",
       "      <td>8.473054e+01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>relative_velocity</th>\n",
       "      <td>90836.0</td>\n",
       "      <td>4.806692e+04</td>\n",
       "      <td>2.529330e+04</td>\n",
       "      <td>2.033464e+02</td>\n",
       "      <td>2.861902e+04</td>\n",
       "      <td>4.419012e+04</td>\n",
       "      <td>6.292360e+04</td>\n",
       "      <td>2.369901e+05</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>miss_distance</th>\n",
       "      <td>90836.0</td>\n",
       "      <td>3.706655e+07</td>\n",
       "      <td>2.235204e+07</td>\n",
       "      <td>6.745533e+03</td>\n",
       "      <td>1.721082e+07</td>\n",
       "      <td>3.784658e+07</td>\n",
       "      <td>5.654900e+07</td>\n",
       "      <td>7.479865e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>absolute_magnitude</th>\n",
       "      <td>90836.0</td>\n",
       "      <td>2.352710e+01</td>\n",
       "      <td>2.894086e+00</td>\n",
       "      <td>9.230000e+00</td>\n",
       "      <td>2.134000e+01</td>\n",
       "      <td>2.370000e+01</td>\n",
       "      <td>2.570000e+01</td>\n",
       "      <td>3.320000e+01</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                      count          mean           std           min  \\\n",
       "id                  90836.0  1.438288e+07  2.087202e+07  2.000433e+06   \n",
       "est_diameter_min    90836.0  1.274321e-01  2.985112e-01  6.089126e-04   \n",
       "est_diameter_max    90836.0  2.849469e-01  6.674914e-01  1.361570e-03   \n",
       "relative_velocity   90836.0  4.806692e+04  2.529330e+04  2.033464e+02   \n",
       "miss_distance       90836.0  3.706655e+07  2.235204e+07  6.745533e+03   \n",
       "absolute_magnitude  90836.0  2.352710e+01  2.894086e+00  9.230000e+00   \n",
       "\n",
       "                             25%           50%           75%           max  \n",
       "id                  3.448110e+06  3.748362e+06  3.884023e+06  5.427591e+07  \n",
       "est_diameter_min    1.925551e-02  4.836765e-02  1.434019e-01  3.789265e+01  \n",
       "est_diameter_max    4.305662e-02  1.081534e-01  3.206564e-01  8.473054e+01  \n",
       "relative_velocity   2.861902e+04  4.419012e+04  6.292360e+04  2.369901e+05  \n",
       "miss_distance       1.721082e+07  3.784658e+07  5.654900e+07  7.479865e+07  \n",
       "absolute_magnitude  2.134000e+01  2.370000e+01  2.570000e+01  3.320000e+01  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Краткая информация о DataFrame\n",
    "df.info()\n",
    "\n",
    "# Статистическое описание числовых столбцов\n",
    "df.describe().transpose()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Проблема пропущенных данных:\n",
    "\n",
    "**Проблема пропущенных данных** — это отсутствие значений в наборе данных, что может искажать результаты анализа и статистические выводы.\n",
    "\n",
    "Проверка на отсутствие значений, представленная ниже, показала, что DataFrame не имеет пустых значений признаков. Нет необходимости использовать методы заполнения пропущенных данных."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "id                    False\n",
      "name                  False\n",
      "est_diameter_min      False\n",
      "est_diameter_max      False\n",
      "relative_velocity     False\n",
      "miss_distance         False\n",
      "orbiting_body         False\n",
      "sentry_object         False\n",
      "absolute_magnitude    False\n",
      "hazardous             False\n",
      "dtype: bool \n",
      "\n",
      "id                    0\n",
      "name                  0\n",
      "est_diameter_min      0\n",
      "est_diameter_max      0\n",
      "relative_velocity     0\n",
      "miss_distance         0\n",
      "orbiting_body         0\n",
      "sentry_object         0\n",
      "absolute_magnitude    0\n",
      "hazardous             0\n",
      "dtype: int64\n"
     ]
    }
   ],
   "source": [
    "# Проверка пропущенных данных\n",
    "def check_null_columns(dataframe: DataFrame) -> None:\n",
    "    # Присутствуют ли пустые значения признаков\n",
    "    print(dataframe.isnull().any(), '\\n')\n",
    "\n",
    "    # Количество пустых значений признаков\n",
    "    print(dataframe.isnull().sum())\n",
    "\n",
    "    # Процент пустых значений признаков\n",
    "    for i in dataframe.columns:\n",
    "        null_rate: float = dataframe[i].isnull().sum() / len(dataframe) * 100\n",
    "        if null_rate > 0:\n",
    "            print(f\"{i} процент пустых значений: %{null_rate:.2f}\")\n",
    "            \n",
    "\n",
    "# Проверка пропущенных данных\n",
    "check_null_columns(df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Проблема зашумленности данных:\n",
    "\n",
    "**Зашумленность** – это наличие случайных ошибок или вариаций в данных, которые могут затруднить выявление истинных закономерностей. Шум может возникать из-за ошибок измерений, неправильных записей или других факторов.\n",
    "\n",
    "**Выбросы** – это значения, которые значительно отличаются от остальных наблюдений в наборе данных. Выбросы могут указывать на ошибки в данных или на редкие, но важные события. Их наличие может повлиять на статистические методы анализа.\n",
    "\n",
    "Представленный ниже код помогает определить наличие выбросов в наборе данных и устранить их (при наличии), заменив значения ниже нижней границы (рассматриваемого минимума) на значения нижней границы, а значения выше верхней границы (рассматриваемого максимума) – на значения верхней границы."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Колонка est_diameter_min:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 8306\n",
      "\tМинимальное значение: 0.0006089126\n",
      "\tМаксимальное значение: 37.8926498379\n",
      "\t1-й квартиль (Q1): 0.0192555078\n",
      "\t3-й квартиль (Q3): 0.1434019235\n",
      "\n",
      "Колонка est_diameter_max:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 8306\n",
      "\tМинимальное значение: 0.00136157\n",
      "\tМаксимальное значение: 84.7305408852\n",
      "\t1-й квартиль (Q1): 0.0430566244\n",
      "\t3-й квартиль (Q3): 0.320656449\n",
      "\n",
      "Колонка relative_velocity:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 1574\n",
      "\tМинимальное значение: 203.34643253\n",
      "\tМаксимальное значение: 236990.1280878666\n",
      "\t1-й квартиль (Q1): 28619.02064490995\n",
      "\t3-й квартиль (Q3): 62923.60463276395\n",
      "\n",
      "Колонка miss_distance:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 6745.532515957\n",
      "\tМаксимальное значение: 74798651.4521972\n",
      "\t1-й квартиль (Q1): 17210820.23576468\n",
      "\t3-й квартиль (Q3): 56548996.45139917\n",
      "\n",
      "Колонка absolute_magnitude:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 101\n",
      "\tМинимальное значение: 9.23\n",
      "\tМаксимальное значение: 33.2\n",
      "\t1-й квартиль (Q1): 21.34\n",
      "\t3-й квартиль (Q3): 25.7\n",
      "\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABdEAAAPdCAYAAABlRyFLAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADvLElEQVR4nOzdf3zN9f//8fvZZj+YHW32M8NC+Z2sYmoiMqIsFPqFSD9QCLXeElIrEio/Qm+UlB+hWkXyK++MspIfRWJCbH7EDjObba/vH333+uy0HTa2nf24XS+Xc7HzfD3O6/U4L2fn8drjvM7zZTEMwxAAAAAAAAAAAMjDxdkJAAAAAAAAAABQWtFEBwAAAAAAAADAAZroAAAAAAAAAAA4QBMdAAAAAAAAAAAHaKIDAAAAAAAAAOAATXQAAAAAAAAAABygiQ4AAAAAAAAAgAM00QEAAAAAAAAAcIAmOgAAAAAAAAAADtBEB4AC2rBhgywWizZs2GCO9e3bV7Vr13ZaThXBwYMHZbFYNH/+fGenAgAop6jxAACUfvnV66JgsVg0duzYIl2ns7Vp00Zt2rQptvXXrl1bffv2Lbb1l0YVpom+bNkyWSyWfG+NGzd2dnpAhdGmTRvzjbZv377F9qZ+/vx5jR07tsiLa1m0efNmjR07VmfOnHF2Kk6RuwFfu3btcndwBGo8UFpQ40teRa/x/5bzwXvOa4MP4SsOjgWA0qGkjgWuxFdffcXfgsXo119/1dixY3Xw4MErXkfuv9dzv5ZKCzdnJ1DSXnzxRTVo0MC8/+qrrzoxGwDF5fz58xo3bpwkFWvhnjNnjrKzs4tt/UVh8+bNGjdunPr27atq1ao5O51Cq1WrltLS0lSpUiVnp4JSjhoPVAzU+P9T1ms8UNQ4FgDgyFdffaXp06fn20hPS0uTm1uFa5Felb1798rF5f/Ozf711181btw4tWnTptx+k6/CvULuuusuu4PtuXPn6uTJk85LCECZVpEbu+fPn1flypWLfTsWi0Wenp7Fvh2UfdR4AEWJGl/8NR4oahwLAGVLZmamsrOz5e7u7tQ8+Huz8Dw8PJydQomrMNO5ZGRkSJLdpySOzJ8/XxaLxe4rCNnZ2WratGmerwTu2LFDffv21XXXXSdPT08FBQXpscce06lTp+zWOXbs2Hy/Wpb7k642bdqocePGSkhIUKtWreTl5aWwsDDNmjUrz3MZM2aMwsPDZbVaVaVKFUVGRmr9+vV2cTlfZ7RYLFq5cqXdsgsXLuiaa66RxWLRm2++mSfPgIAAXbx40e4xH3/8sbm+3Acin332mTp37qyQkBB5eHioTp06euWVV5SVlXXZfZ2zvT179uiBBx6Qj4+P/Pz89Oyzz+rChQt2sfPmzdOdd96pgIAAeXh4qGHDhpo5c2aedXbt2lW1a9eWp6enAgICdO+992rnzp12MTnPY+rUqXkeX79+fVksFg0ePNgc+/vvvzVixAg1adJE3t7e8vHxUadOnfTLL7/YPbZPnz7y9PTUb7/9ZjceFRWla665RkePHjXHDhw4oPvvv1++vr6qXLmyWrZsqS+//NLucTnzfeXcPDw8dP311ys2NlaGYVx65/5/jl57+Z25lfs18+9bbsePH1f//v1Vs2ZNubq6mjHe3t4FyulSsrOzNXXqVDVq1Eienp4KDAzUE088odOnT9vFbdu2TVFRUapevbr5u/LYY4+Zz8Pf31+SNG7cODO/wnx168iRI4qOjlaVKlUUEBCgYcOGKT09PU9cfvOlvvnmm2rVqpX8/Pzk5eWl8PBwLVu2LM9jc15nS5cuVcOGDeXl5aWIiAjz9free++pbt268vT0VJs2bfL9WtTWrVvVsWNHWa1WVa5cWXfccYe+//57c/nYsWM1cuRISVJYWJi5L3Kva+HChQoPD5eXl5d8fX3Vq1cvHT582G47ud+fWrdurcqVK+vFF18s0L7MeQ3+/vvvevjhh2W1WuXv76+XXnpJhmHo8OHD6tq1q3x8fBQUFKTJkyfbPT6/OdH79u0rb29v/fXXX4qOjpa3t7f8/f01YsSIAr33oHyhxq+0W0aNp8ZT4y+NGl96anxB3/Nefvllubi4aO3atXbjAwcOlLu7e57fV1Q8HAustFvGsQDHAqXxWCBn+2+++aamTp2qOnXqyMPDQ7/++qskac+ePerRo4d8fX3l6empm2++WZ9//vll17tp0ybdf//9qlmzpjw8PBQaGqphw4YpLS3NjOnbt6+mT58uSfk+79zHEjnTQ23cuDHPtt577z1ZLBbt2rXLHLvSvHNr3Lix2rZtm2c8Oztb1157rXr06GE3VpDjqfzk/N8GBgbK09NTN954oxYsWJDvdqdNm6YmTZrI09NT/v7+6tixo7Zt22bG5J4Tff78+br//vslSW3btjX374YNG9SnTx9Vr149z3uOJHXo0EE33HDDZfMuLSrMmeg5RfVKPyn58MMP87wxS9KaNWt04MAB9evXT0FBQdq9e7dmz56t3bt3a8uWLXnejGbOnGn3xvPvIn/69GndfffdeuCBB9S7d28tWbJETz31lNzd3c0/Hmw2m+bOnavevXvr8ccf19mzZ/X+++8rKipKP/zwg5o1a2a3Tk9PT82bN0/R0dHm2PLly/MUrdzOnj2ruLg43XfffebYvHnz5Onpmedx8+fPl7e3t4YPHy5vb2+tW7dOY8aMkc1m06RJkxxuI7cHHnhAtWvXVmxsrLZs2aK3335bp0+f1gcffGC37xo1aqR7771Xbm5u+uKLL/T0008rOztbgwYNslvfwIEDFRQUpKNHj+rdd99V+/btlZiYaHdGTc5+GTp0qDm2efNm/fnnn3nyO3DggFauXKn7779fYWFhSk5O1nvvvac77rhDv/76q0JCQiRJ06ZN07p169SnTx/Fx8fL1dVV7733nr755ht9+OGHZlxycrJatWql8+fP65lnnpGfn58WLFige++9V8uWLbPb79L/fS0xLS1Nixcv1osvvqiAgAD179+/QPs3Z//lvPZiYmIuGTtw4EBFRkZK+ue1smLFCrvlffr00bfffqshQ4boxhtvlKurq2bPnq2ffvqpwPk48sQTT2j+/Pnq16+fnnnmGSUmJurdd9/Vzz//rO+//16VKlXS8ePH1aFDB/n7++uFF15QtWrVdPDgQS1fvlyS5O/vr5kzZ+qpp57Sfffdp27dukmSmjZtWqAc0tLS1K5dOx06dEjPPPOMQkJC9OGHH2rdunUFevy0adN077336qGHHlJGRoY++eQT3X///YqLi1Pnzp3tYjdt2qTPP//cfA3HxsaqS5cuGjVqlGbMmKGnn35ap0+f1sSJE/XYY4/Z5bBu3Tp16tRJ4eHh5h+XOQefmzZt0q233qpu3brp999/18cff6wpU6aoevXq5j6S/vmK60svvaQHHnhAAwYM0IkTJ/TOO++odevW+vnnn+2+Gn7q1Cl16tRJvXr10sMPP6zAwMAC7Y8cPXv2VIMGDfT666/ryy+/1IQJE+Tr66v33ntPd955p9544w199NFHGjFihG655Ra1bt36kuvLyspSVFSUWrRooTfffFPffvutJk+erDp16uipp54qVG4o26jx1HhqPDWeGl82a3xB3/NGjx6tL774Qv3799fOnTtVtWpVrV69WnPmzNErr7yiG2+8sVD5ovzhWIBjAY4FysaxgPTPa+3ChQsaOHCgPDw85Ovrq927d+u2227TtddeqxdeeEFVqlTRkiVLFB0drU8//TTPPstt6dKlOn/+vJ566in5+fnphx9+0DvvvKMjR45o6dKlkv45Bjl69KjWrFmjDz/88JL5de7cWd7e3lqyZInuuOMOu2WLFy9Wo0aNzGstXE3eufXs2VNjx45VUlKSgoKCzPH//e9/Onr0qHr16mWOFeR4Kj9paWlq06aN/vjjDw0ePFhhYWFaunSp+vbtqzNnzujZZ581Y/v376/58+erU6dOGjBggDIzM7Vp0yZt2bJFN998c551t27dWs8884zefvttu2m1GjRooEceeUQffPCBVq9erS5dupiPSUpK0rp16/Tyyy8XaB+
      "text/plain": [
       "<Figure size 1500x1000 with 5 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Числовые столбцы DataFrame\n",
    "numeric_columns: list[str] = [\n",
    "    'est_diameter_min',\n",
    "    'est_diameter_max', \n",
    "    'relative_velocity', \n",
    "    'miss_distance', \n",
    "    'absolute_magnitude'\n",
    "]\n",
    "\n",
    "# Проверка выбросов в DataFrame\n",
    "def check_outliers(dataframe: DataFrame, columns: list[str]) -> None:\n",
    "    for column in columns:\n",
    "        if not pd.api.types.is_numeric_dtype(dataframe[column]): # Проверяем, является ли колонка числовой\n",
    "            continue\n",
    "        \n",
    "        Q1: float = dataframe[column].quantile(0.25) # 1-й квартиль (25%)\n",
    "        Q3: float = dataframe[column].quantile(0.75) # 3-й квартиль (75%)\n",
    "        IQR: float = Q3 - Q1 # Вычисляем межквартильный размах\n",
    "\n",
    "        # Определяем границы для выбросов\n",
    "        lower_bound: float = Q1 - 1.5 * IQR # Нижняя граница\n",
    "        upper_bound: float = Q3 + 1.5 * IQR # Верхняя граница\n",
    "\n",
    "        # Подсчитываем количество выбросов\n",
    "        outliers: DataFrame = dataframe[(dataframe[column] < lower_bound) | (dataframe[column] > upper_bound)]\n",
    "        outlier_count: int = outliers.shape[0]\n",
    "\n",
    "        print(f\"Колонка {column}:\")\n",
    "        print(f\"\\tЕсть выбросы: {'Да' if outlier_count > 0 else 'Нет'}\")\n",
    "        print(f\"\\tКоличество выбросов: {outlier_count}\")\n",
    "        print(f\"\\tМинимальное значение: {dataframe[column].min()}\")\n",
    "        print(f\"\\tМаксимальное значение: {dataframe[column].max()}\")\n",
    "        print(f\"\\t1-й квартиль (Q1): {Q1}\")\n",
    "        print(f\"\\t3-й квартиль (Q3): {Q3}\\n\")\n",
    "\n",
    "# Визуализация выбросов\n",
    "def visualize_outliers(dataframe: DataFrame, columns: list[str]) -> None:\n",
    "    # Диаграммы размахов\n",
    "    plt.figure(figsize=(15, 10))\n",
    "    rows: int = ceil(len(columns) / 3)\n",
    "    for index, column in enumerate(columns, 1):\n",
    "        plt.subplot(rows, 3, index)\n",
    "        plt.boxplot(dataframe[column], vert=True, patch_artist=True)\n",
    "        plt.title(f\"Диаграмма размахов для \\\"{column}\\\"\")\n",
    "        plt.xlabel(column)\n",
    "            \n",
    "    # Отображение графиков\n",
    "    plt.tight_layout()\n",
    "    plt.show()\n",
    "\n",
    "\n",
    "# Проверка выбросов\n",
    "check_outliers(df, numeric_columns)\n",
    "visualize_outliers(df, numeric_columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Колонка est_diameter_min:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 0.0006089126\n",
      "\tМаксимальное значение: 0.32962154705\n",
      "\t1-й квартиль (Q1): 0.0192555078\n",
      "\t3-й квартиль (Q3): 0.1434019235\n",
      "\n",
      "Колонка est_diameter_max:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 0.00136157\n",
      "\tМаксимальное значение: 0.7370561859\n",
      "\t1-й квартиль (Q1): 0.0430566244\n",
      "\t3-й квартиль (Q3): 0.320656449\n",
      "\n",
      "Колонка relative_velocity:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 203.34643253\n",
      "\tМаксимальное значение: 114380.48061454494\n",
      "\t1-й квартиль (Q1): 28619.02064490995\n",
      "\t3-й квартиль (Q3): 62923.60463276395\n",
      "\n",
      "Колонка miss_distance:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 6745.532515957\n",
      "\tМаксимальное значение: 74798651.4521972\n",
      "\t1-й квартиль (Q1): 17210820.23576468\n",
      "\t3-й квартиль (Q3): 56548996.45139917\n",
      "\n",
      "Колонка absolute_magnitude:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 14.8\n",
      "\tМаксимальное значение: 32.239999999999995\n",
      "\t1-й квартиль (Q1): 21.34\n",
      "\t3-й квартиль (Q3): 25.7\n",
      "\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABdEAAAPdCAYAAABlRyFLAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADy8ElEQVR4nOzde1wV5dr/8S8HWaAkigiIG4XUUvNAQRKWh5JEswNlhmaJZNpTUhq7E23FY5HHUCMpy0OpRbbLp9QHM4zdQdLE3JqpWWqYtlA8QKKCwvz+6MfkEhYCoqB93q/XvHLdc80990zLdS2vNXOPg2EYhgAAAAAAAAAAQBmOtT0AAAAAAAAAAADqKoroAAAAAAAAAADYQREdAAAAAAAAAAA7KKIDAAAAAAAAAGAHRXQAAAAAAAAAAOygiA4AAAAAAAAAgB0U0QEAAAAAAAAAsIMiOgAAAAAAAAAAdlBEBwAAAAAAAADADoroAHARZGRkyMHBQRkZGWbb0KFDFRAQUGtj+jvYu3evHBwctHDhwtoeCgDgCkA+BwCg7ikvP9cEBwcHjR8/vkb7rG09e/ZUz549L1r/AQEBGjp06EXrvy6hiF6ODz/8UA4ODuUuHTp0qO3hAX8bPXv2ND+Mhw4detE++E+cOKHx48fXeAK+HK1bt07jx4/XsWPHansoteLsAnxAQMAV9wXq74Z8DtQN5PNL7++ez89V+iN76XuDH9yvXOR+oG64VLm/OlatWsW/8y6iH3/8UePHj9fevXur3cfZ/xY/+71U25xrewB12Ysvvqh27dqZr1966aVaHA2Ai+XEiROaMGGCJF3U5D5v3jyVlJRctP5rwrp16zRhwgQNHTpUjRo1qu3hVFnLli118uRJ1atXr7aHgjqEfA78PZDP/3K553PgQpH7AdizatUqJScnl1tIP3nypJydKZVWxc6dO+Xo+Nc12j/++KMmTJignj17XnF37vHOqMDtt99u8wX8rbfeUm5ubu0NCMBl7e9c2D1x4oTq169/0ffj4OAgV1fXi74fXF7I5wBqEvn84udz4EKR+4HLy5kzZ1RSUiIXF5daHQf/lqw6i8VS20O4ZJjOpRxFRUWSZPNLij0LFy6Ug4ODzW0KJSUl6tSpU5nbBLds2aKhQ4fq6quvlqurq3x9ffXII4/o8OHDNn2OHz++3NvPzv41rGfPnurQoYOysrLUtWtXubm5KTAwUCkpKWWOJSEhQcHBwfLw8FCDBg3UrVs3ffHFFzZxpbc4Ojg4aPny5TbrTp06pcaNG8vBwUHTp08vM05vb2+dPn3aZpv33nvP7O/sLyv/+7//q379+snPz08Wi0WtWrXSpEmTVFxcfN5zXbq/HTt26IEHHlDDhg3VpEkTjRo1SqdOnbKJXbBggW677TZ5e3vLYrGoffv2mjt3bpk+77nnHgUEBMjV1VXe3t66++67tXXrVpuY0uNISkoqs33btm3l4OCg2NhYs+3IkSN65pln1LFjR7m7u6thw4bq27ev/vvf/9psGx0dLVdXV23fvt2mPSIiQo0bN9aBAwfMtt27d2vAgAHy9PRU/fr1ddNNN2nlypU225XOCVa6WCwWXXPNNUpMTJRhGBWf3P/P3nuvvKu5zn7PnLuc7eDBgxo2bJhatGghJycnM8bd3b1SY6pISUmJkpKSdN1118nV1VU+Pj567LHHdPToUZu4jRs3KiIiQl5eXubflUceecQ8jqZNm0qSJkyYYI6vKrd3/fbbb4qMjFSDBg3k7e2tp59+WoWFhWXiyptDdfr06eratauaNGkiNzc3BQcH68MPPyyzben7bNmyZWrfvr3c3NwUFhZmvl/feOMNtW7dWq6ururZs2e5t06tX79effr0kYeHh+rXr68ePXrom2++MdePHz9ezz77rCQpMDDQPBdn97V48WIFBwfLzc1Nnp6eGjhwoPbt22ezn7M/n7p376769evrxRdfrNS5LH0P/vTTT3rooYfk4eGhpk2bauzYsTIMQ/v27dM999yjhg0bytfXVzNmzLDZvrw50YcOHSp3d3ft379fkZGRcnd3V9OmTfXMM89U6rMHly/y+XKbdeRz8jn5vGLk87qTzyv7mTdu3Dg5OjoqPT3dpn3EiBFycXEp8/cVVz5y/3KbdeR+cn9dzP2l+58+fbqSkpLUqlUrWSwW/fjjj5KkHTt26P7775enp6dcXV0VEhKiTz755Lz9fvXVVxowYIBatGghi8Uif39/Pf300zp58qQZM3ToUCUnJ0tSucd99neH0umh/vOf/5TZ1xtvvCEHBwf98MMPZlt1x322Dh066NZbby3TXlJSoubNm+v++++3aavM96fylP6/9fHxkaurqzp37qxFixaVu99Zs2apY8eOcnV1VdOmTdWnTx9t3LjRjDl7TvSFCxdqwIABkqRbb73VPL8ZGRmKjo6Wl5dXmc8cSerdu7euvfba8467tnElejlKE291f0159913y3x4S9KaNWu0e/duxcTEyNfXV9u2bdObb76pbdu26dtvvy3zgTV37lybD6dzvwgcPXpUd9xxhx544AENGjRIH3zwgR5//HG5uLiY/6DIz8/XW2+9pUGDBmn48OH6448/9PbbbysiIkIbNmxQUFCQTZ+urq5asGCBIiMjzbaPPvqoTGI72x9//KEVK1bo3nvvNdsWLFggV1fXMtstXLhQ7u7uiouLk7u7u9auXauEhATl5+dr2rRpdvdxtgceeEABAQFKTEzUt99+q9mzZ+vo0aN65513bM7dddddp7vvvlvOzs769NNP9cQTT6ikpEQjR4606W/EiBHy9fXVgQMH9Nprryk8PFx79uyxucqm9LyMHj3abFu3bp1+/fXXMuPbvXu3li9frgEDBigwMFA5OTl644031KNHD/3444/y8/OTJM2aNUtr165VdHS0MjMz5eTkpDfeeEOfffaZ3n33XTMuJydHXbt21YkTJ/TUU0+pSZMmWrRoke6++259+OGHNudd+uvWxZMnTyo1NVUvvviivL29NWzYsEqd39LzV/rei4+PrzB2xIgR6tatm6Q/3ysff/yxzfro6Gh9/vnnevLJJ9W5c2c5OTnpzTff1KZNmyo9Hnsee+wxLVy4UDExMXrqqae0Z88evfbaa/r+++/1zTffqF69ejp48KB69+6tpk2b6oUXXlCjRo20d+9effTRR5Kkpk2bau7cuXr88cd177336r777pMkderUqVJjOHnypHr16qXs7Gw99dRT8vPz07vvvqu1a9dWavtZs2bp7rvv1uDBg1VUVKT3339fAwYM0IoVK9SvXz+b2K+++kqffPKJ+R5OTEzUnXfeqeeee06vv/66nnjiCR09elRTp07VI488YjOGtWvXqm/fvgoODjb/wVn6BfWrr75Sly5ddN999+mnn37Se++9p1dffVVeXl7mOZL+vA127NixeuCBB/Too4/q0KFDmjNnjrp3767vv//e5nbxw4cPq2/fvho4cKAeeugh+fj4VOp8lIqKilK7du30yiuvaOXKlZo8ebI8PT31xhtv6LbbbtOUKVO0ZMkSPfPMM7rxxhvVvXv3CvsrLi5WRESEQkNDNX36dH3++eeaMWOGWrVqpccff7xKY8Plg3xOPiefk8/J55dnPq/sZ96YMWP06aefatiwYdq6dauuuuoqrV69WvPmzdOkSZPUuXPnKo0Xlz9yP7mf3H955H7pz/faqVOnNGLECFksFnl6emrbtm26+eab1bx5c73wwgtq0KCBPvjgA0VGRurf//53mXN2tmXLlunEiRN6/PHH1aRJE23YsEFz5szRb7/9pmXLlkn68zvHgQMHtGbNGr377rsVjq9fv35yd3fXBx98oB49etisS01N1XXXXWc+a+FCxn22qKgojR8/XlarVb6+vmb7119/rQMHDmjgwIFmW2W+P5Xn5MmT6tmzp37++WfFxsYqMDBQy5Yt09ChQ3Xs2DGNGjXKjB02bJgWLlyovn376tFHH9WZM2f01Vdf6dtvv1VISEiZvrt3766nnnpKs2fPtplWq127dnr44Yf1zjvvaPXq1brzzjvNbaxWq9auXat
      "text/plain": [
       "<Figure size 1500x1000 with 5 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Устранить выборсы в DataFrame\n",
    "def remove_outliers(dataframe: DataFrame, columns: list[str]) -> DataFrame:\n",
    "    for column in columns:\n",
    "        if not pd.api.types.is_numeric_dtype(dataframe[column]): # Проверяем, является ли колонка числовой\n",
    "            continue\n",
    "        \n",
    "        Q1: float = dataframe[column].quantile(0.25) # 1-й квартиль (25%)\n",
    "        Q3: float = dataframe[column].quantile(0.75) # 3-й квартиль (75%)\n",
    "        IQR: float = Q3 - Q1 # Вычисляем межквартильный размах\n",
    "\n",
    "        # Определяем границы для выбросов\n",
    "        lower_bound: float = Q1 - 1.5 * IQR # Нижняя граница\n",
    "        upper_bound: float = Q3 + 1.5 * IQR # Верхняя граница\n",
    "\n",
    "        # Устраняем выбросы:\n",
    "        # Заменяем значения ниже нижней границы на нижнюю границу\n",
    "        # А значения выше верхней границы – на верхнюю\n",
    "        dataframe[column] = dataframe[column].apply(lambda x: lower_bound if x < lower_bound else upper_bound if x > upper_bound else x)\n",
    "    \n",
    "    return dataframe\n",
    "\n",
    "\n",
    "# Устраняем выборсы\n",
    "df: DataFrame = remove_outliers(df, numeric_columns)\n",
    "\n",
    "# Проверка выбросов\n",
    "check_outliers(df, numeric_columns)\n",
    "visualize_outliers(df, numeric_columns)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Разбиение набора данных на выборки:\n",
    "\n",
    "**Групповое разбиение данных** – это метод разделения данных на несколько групп или подмножеств на основе определенного признака или характеристики. При этом наблюдения для одного объекта должны попасть только в одну выборку.\n",
    "\n",
    "**Основные виды выборки данных**:\n",
    "1. Обучающая выборка (60-80%). Обучение модели (подбор коэффициентов некоторой математической функции для аппроксимации).\n",
    "2. Контрольная выборка (10-20%). Выбор метода обучения, настройка гиперпараметров.\n",
    "3. Тестовая выборка (10-20% или 20-30%). Оценка качества модели перед передачей заказчику.\n",
    "\n",
    "Разделим выборку данных на 3 группы и проанализируем качество распределения данных.\n",
    "\n",
    "Весь набор данных состоит из 90836 объектов, из которых 81996 (около 90.3%) неопасны (False), а 8840 (около 9.7%) опасны (True). Это говорит о том, что класс \"неопасные\" значительно преобладает.\n",
    "\n",
    "Все выборки показывают одинаковое распределение классов, что свидетельствует о том, что данные были отобраны случайным образом и не содержат явного смещения.\n",
    "\n",
    "Однако, несмотря на сбалансированность при разбиении данных, в целом данные обладают значительным дисбалансом между классами. Это может быть проблемой при обучении модели, так как она может иметь тенденцию игнорировать опасные объекты (True), что следует учитывать при дальнейшем анализе и выборе методов обработки данных.\n",
    "\n",
    "Для получения более сбалансированных выборок данных необходимо воспользоваться методами приращения (аугментации) данных, а именно методами oversampling и undersampling."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Функция для создания выборок\n",
    "def split_stratified_into_train_val_test(\n",
    "    df_input,\n",
    "    stratify_colname=\"y\",\n",
    "    frac_train=0.6,\n",
    "    frac_val=0.15,\n",
    "    frac_test=0.25,\n",
    "    random_state=None,\n",
    ") -> tuple[Any, Any, Any]:\n",
    "    \"\"\"\n",
    "    Splits a Pandas dataframe into three subsets (train, val, and test)\n",
    "    following fractional ratios provided by the user, where each subset is\n",
    "    stratified by the values in a specific column (that is, each subset has\n",
    "    the same relative frequency of the values in the column). It performs this\n",
    "    splitting by running train_test_split() twice.\n",
    "\n",
    "    Parameters\n",
    "    ----------\n",
    "    df_input : Pandas dataframe\n",
    "        Input dataframe to be split.\n",
    "    stratify_colname : str\n",
    "        The name of the column that will be used for stratification. Usually\n",
    "        this column would be for the label.\n",
    "    frac_train : float\n",
    "    frac_val   : float\n",
    "    frac_test  : float\n",
    "        The ratios with which the dataframe will be split into train, val, and\n",
    "        test data. The values should be expressed as float fractions and should\n",
    "        sum to 1.0.\n",
    "    random_state : int, None, or RandomStateInstance\n",
    "        Value to be passed to train_test_split().\n",
    "\n",
    "    Returns\n",
    "    -------\n",
    "    df_train, df_val, df_test :\n",
    "        Dataframes containing the three splits.\n",
    "    \"\"\"\n",
    "\n",
    "    if frac_train + frac_val + frac_test != 1.0:\n",
    "        raise ValueError(\n",
    "            \"fractions %f, %f, %f do not add up to 1.0\"\n",
    "            % (frac_train, frac_val, frac_test)\n",
    "        )\n",
    "\n",
    "    if stratify_colname not in df_input.columns:\n",
    "        raise ValueError(\"%s is not a column in the dataframe\" % (stratify_colname))\n",
    "\n",
    "    X: DataFrame = df_input # Contains all columns.\n",
    "    y: DataFrame = df_input[\n",
    "        [stratify_colname]\n",
    "    ] # Dataframe of just the column on which to stratify.\n",
    "\n",
    "    # Split original dataframe into train and temp dataframes.\n",
    "    df_train, df_temp, y_train, y_temp = train_test_split(\n",
    "        X, y, \n",
    "        stratify=y, \n",
    "        test_size=(1.0 - frac_train), \n",
    "        random_state=random_state\n",
    "    )\n",
    "\n",
    "    # Split the temp dataframe into val and test dataframes.\n",
    "    relative_frac_test: float = frac_test / (frac_val + frac_test)\n",
    "    df_val, df_test, y_val, y_test = train_test_split(\n",
    "        df_temp,\n",
    "        y_temp,\n",
    "        stratify=y_temp,\n",
    "        test_size=relative_frac_test,\n",
    "        random_state=random_state,\n",
    "    )\n",
    "\n",
    "    assert len(df_input) == len(df_train) + len(df_val) + len(df_test)\n",
    "\n",
    "    return df_train, df_val, df_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "hazardous\n",
      "False    81996\n",
      "True      8840\n",
      "Name: count, dtype: int64 \n",
      "\n",
      "Обучающая выборка:  (54501, 10)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    49197\n",
      "True      5304\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 90.27%\n",
      "Процент объектов класса \"True\": 9.73%\n",
      "\n",
      "Контрольная выборка:  (18167, 10)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    16399\n",
      "True      1768\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 90.27%\n",
      "Процент объектов класса \"True\": 9.73%\n",
      "\n",
      "Тестовая выборка:  (18168, 10)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    16400\n",
      "True      1768\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 90.27%\n",
      "Процент объектов класса \"True\": 9.73%\n",
      "\n",
      "Для обучающей выборки аугментация данных требуется\n",
      "Для контрольной выборки аугментация данных требуется\n",
      "Для тестовой выборки аугментация данных требуется\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABgcAAAH/CAYAAABzUQ1QAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAACenklEQVR4nOzdd3xT9f7H8Xe6S8sqZRZk7yGKgIAIKg7An1vEcRkuFATFdR1XARduRdxeBRSuA72CEwUVAQUBBWTILnu27O425/dHb2NDd5v0e5Lzej4ePJSQJp9mnFfa78mJy7IsSwAAAAAAAAAAwDFCTA8AAAAAAAAAAAAqF4sDAAAAAAAAAAA4DIsDAAAAAAAAAAA4DIsDAAAAAAAAAAA4DIsDAAAAAAAAAAA4DIsDAAAAAAAAAAA4DIsDAAAAAAAAAAA4DIsDAAAAAAAAAAA4DIsDABAAjhw5os2bNys7O9v0KPAhy7J06NAhbdq0yfQoAACggjIzM7Vv3z7t2bPH9CgAAMCHUlJStHPnTh0+fNj0KD7H4gAQAJo0aaKLL77Y9Bg+07dvX/Xt29f0GLaWlZWlZ599VqeeeqoiIyNVs2ZNtWzZUj/88IPp0QLCmjVrNGvWLM/fV65cqa+//trcQPkcP35c//rXv9S6dWtFRESoVq1aatWqlTZs2GB6NADlQKMB/5s+fbq2bdvm+fvUqVO1e/ducwPls3z5cl133XWKj49XZGSk6tevryuvvNL0WIDj0GMgMD311FNyu92SJLfbrYkTJxqe6G8zZ87Ueeedp6pVqyo2NlannHKKnn32WdNj+VyZFgemTp0ql8vl+RMVFaVWrVrpjjvu0P79+/01IxD0xo8fryZNmkj6+3kG/+vbt6+GDRsmSRo2bJhtXnxlZGSoX79+euSRR9S3b1/NnDlTc+fO1Y8//qgePXqYHi8gHD9+XCNGjNCSJUu0adMm3XnnnVq9erXpsZScnKwePXrolVde0VVXXaXZs2dr7ty5mj9/vmcbUF40GvAPGm2GXRsNMxYuXKj7779f27Zt03fffadRo0YpJMT8fm6zZ8/WWWedpXXr1unJJ5/U3Llzde+992rJkiX0GPAxemwGPYa/TZs2Tc8//7x27dqlF154QdOmTTM9kiTpgQce0KBBg1S1alW98847mjt3rubNm6eRI0eaHs3nwsrzRY899piaNm2q9PR0LVq0SG+88Ya++eYbrVmzRlWqVPH1jADgKM8884x+++03fffdd7z4KqcePXp4/khSq1atdMsttxieSrrvvvu0d+9eLV68WO3bt/fLddBoAECwGTt2rPr27aumTZtKku6++27Vr1/f6EyHDh3SzTffrAsvvFAzZ85URESEJGnXrl2S6DEAAKXx2GOPaciQIfrnP/+pyMhITZ8+3fRI+vnnn/XMM89o4sSJeuCBB0yP43flWhzo37+/zjjjDEnSzTffrFq1aunFF1/U7Nmzde211/p0QACBJyUlRTExMabHCEjZ2dl6+eWXdc8997AwUEGzZs3SunXrlJaWpo4dO3p+aDflwIEDmjZtmt58802/LQxINBpA8Wg0AlGbNm20ZcsWrVmzRvHx8WrevLnpkTRlyhSlp6dr6tSphb7GoMcAikOPgVzXXHONzjnnHG3evFktW7ZU7dq1TY+k559/Xj179nTEwoDko88cOPfccyVJiYmJknL3orj33nvVsWNHxcbGqlq1aurfv79WrVpV4GvT09M1fvx4tWrVSlFRUapfv76uuOIKbdmyRZK0bds2r8MknPwn/y/P5s+fL5fLpY8//lgPPfSQ6tWrp5iYGF1yySXauXNngev+7bffdNFFF6l69eqqUqWK+vTpo19++aXQ77Fv376FXv/48eMLnHf69Onq0qWLoqOjFRcXp8GDBxd6/cV9b/m53W69/PLLat++vaKiolS3bl2NGDGiwIdgFHWMvTvuuKPAZRY2+3PPPVfgNpVyD3Eybtw4tWjRQpGRkWrUqJHuv/9+ZWRkFHpb5VfYcfKefPJJhYSE6D//+U+5bo+8J2mtWrUUHR2tLl266NNPPy30+qdPn65u3bqpSpUqqlmzps4++2x9//33Xuf59ttv1adPH1WtWlXVqlVT165dC8w2c+ZMz30aHx+vG264ocBxTocNG+Y1c82aNdW3b18tXLiwxNuptBYtWqRu3bopKipKzZo10/vvv+/176V97jVp0qTI23r+/PmSpO3bt2vkyJFq3bq1oqOjVatWLV199dVex3uV/n5L588//6yRI0eqTp06atiwoeff3377bTVv3lzR0dHq1q1bkbfHgQMHdNNNN6lu3bqKiorSqaeeWuDtZHnP8bwZ8+Q9dqZOneo5bd++fRo+fLgaNmzoOf7rpZdeWmD+ssp/24WEhKhevXq65pprtGPHjlJ9/euvv6727dsrMjJSDRo00KhRo3TkyBHPv2/YsEGHDx9W1apV1adPH1WpUkXVq1fXxRdfrDVr1njO99NPP8nlcunzzz8vcB3/+c9/5HK5tHjxYs/MeW8FzVPYbblw4UJdffXVOuWUUzzP9bFjxyotLc3ra8ePH1/geTljxgx17txZUVFRqlWrlq699toCt8mwYcMUGxvrddqnn35a6H0aGxtbYGapdNvX/Nuddu3aqUuXLlq1alWh25PCnLy9j4+P18CBA71ufyl3O3rHHXcUeTl5z428x9yyZcvkdruVmZmpM844o9jbSpJ+/PFH9e7dWzExMapRo4YuvfRS/fXXX17nybsv1q9fr9dff12SdN555+nOO+9Uenq6pL8bfd1112n8+PGe7USHDh0UFhYml8ul3r17e20n8m7nqKgoRUdHq2rVqjSaRtPoEtDowG50Ya289dZbFRUVVeB7KqnlUu7zq0OHDgWu5/nnn/dqQ3H3t8vl8hxCI+92fP755/XSSy+pcePGio6OVp8+fQr0SSpdQwq73Qp7vOWdp6Rjeeef8WQdOnQosL0pzeMq/+MnJiZG3bt3V/PmzTVq1Ci5XK5CXysU9vV5f8LDw9WkSRPdd999yszM9Jwv77myfPnyIi/r5G3mkiVL1LlzZz311FNq1KiRIiMj1bJly0I/4yg7O9tzSKF//OMfatKkicaOHauxY8d6bROio6M928K811Xt2rXTRx995PUzc40aNTzP7cK+z5P/NGzY0DNjQkKCXC6XPvzwQ3qcDz2mx/TYfI/91cT169frqquuUlxcnKKionTGGWfoiy++8DpPUR1ISkoqsC0o7OfhEydOqF69egVu+7zXA7///rt69uyp6OhoNW3aVG+++WaBOcvSxZK6Jklbt27V1Vdfrbi4OFWpUkVnnnlmgUYV9r1IBV8XleX2kaQVK1aof//+qlatmmJjY3XeeedpyZIlXufJ//NynTp1PNusTp06FXisFubkw+pWqVJFHTt21L///W+v8xX2e4iTnfw9LFmyRB06dNDgwYMVFxen6Ohode3a1etzDfOU5X4rzWN22LBhBQ45PH36dIWEhOjpp5/2Or00j+3SKNc7B06W90uCWrVqScp9AM6aNUtXX321mjZtqv379+utt95Snz59tG7dOjVo0ECSlJOTo4svvlg//PCDBg8erDvvvFPHjx/X3LlztWbNGq89Qq699loNGDDA63offPDBQud58skn5XK59M9//lMHDhzQyy+/rH79+mnlypWKjo6WlPuCuX///urSpYvGjRunkJAQTZkyReeee64WLlyobt26Fbjchg0bej4Y48SJE7r99tsLve5HHnlEgwYN0s0336yDBw9q8uTJOvvss7VixQrVqFGjwNfceuut6t27tyTpv//9b4Ff9o0YMUJTp07V8OHDNWbMGCUmJurVV1/VihUr9Msvvyg8PLzQ26Esjhw5UuiHfrjdbl1yySVatGiRbr31VrVt21arV6/WSy+9pI0bNxb6xCjOlClT9K9//UsvvPCCrrvuukLPU9LtMWnSJF1yySW6/vrrlZmZqY8++khXX321vvrqKw0cONBzvgkTJmj8+PHq2bOnHnvsMUVEROi3337Tjz/+qAsuuEBS7sbkxhtvVPv27fX
      "text/plain": [
       "<Figure size 1500x500 with 3 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Вывод распределения количества наблюдений по меткам (классам)\n",
    "print(df.hazardous.value_counts(), '\\n')\n",
    "\n",
    "data: DataFrame = df[[\n",
    "   'est_diameter_min', \n",
    "   'est_diameter_max', \n",
    "   'relative_velocity', \n",
    "   'miss_distance', \n",
    "   'absolute_magnitude', \n",
    "   'hazardous'\n",
    "]].copy()\n",
    "\n",
    "df_train, df_val, df_test = split_stratified_into_train_val_test(\n",
    "   df, \n",
    "   stratify_colname=\"hazardous\", \n",
    "   frac_train=0.60, \n",
    "   frac_val=0.20, \n",
    "   frac_test=0.20\n",
    ")\n",
    "\n",
    "# Оценка сбалансированности\n",
    "def check_balance(dataframe: DataFrame, dataframe_name: str, column: str) -> None:\n",
    "    counts: Series[int] = dataframe[column].value_counts()\n",
    "    print(dataframe_name + \": \", dataframe.shape)\n",
    "    print(f\"Распределение выборки данных по классам \\\"{column}\\\":\\n\", counts)\n",
    "    total_count: int = len(dataframe)\n",
    "    for value in counts.index:\n",
    "        percentage: float = counts[value] / total_count * 100\n",
    "        print(f\"Процент объектов класса \\\"{value}\\\": {percentage:.2f}%\")\n",
    "    print()\n",
    "   \n",
    "# Определение необходимости аугментации данных\n",
    "def need_augmentation(dataframe: DataFrame,\n",
    "                      column: str, \n",
    "                      first_value: Any, second_value: Any) -> bool:\n",
    "    counts: Series[int] = dataframe[column].value_counts()\n",
    "    ratio: float = counts[first_value] / counts[second_value]\n",
    "    return ratio > 1.5 or ratio < 0.67\n",
    " \n",
    " # Визуализация сбалансированности классов\n",
    "def visualize_balance(dataframe_train: DataFrame,\n",
    "                      dataframe_val: DataFrame,\n",
    "                      dataframe_test: DataFrame, \n",
    "                      column: str) -> None:\n",
    "   fig, axes = plt.subplots(1, 3, figsize=(15, 5))\n",
    "\n",
    "   # Обучающая выборка\n",
    "   counts_train: Series[int] = dataframe_train[column].value_counts()\n",
    "   axes[0].pie(counts_train, labels=counts_train.index, autopct='%1.1f%%', startangle=90)\n",
    "   axes[0].set_title(f\"Распределение классов \\\"{column}\\\" в обучающей выборке\")\n",
    "\n",
    "   # Контрольная выборка\n",
    "   counts_val: Series[int] = dataframe_val[column].value_counts()\n",
    "   axes[1].pie(counts_val, labels=counts_val.index, autopct='%1.1f%%', startangle=90)\n",
    "   axes[1].set_title(f\"Распределение классов \\\"{column}\\\" в контрольной выборке\")\n",
    "\n",
    "   # Тестовая выборка\n",
    "   counts_test: Series[int] = dataframe_test[column].value_counts()\n",
    "   axes[2].pie(counts_test, labels=counts_test.index, autopct='%1.1f%%', startangle=90)\n",
    "   axes[2].set_title(f\"Распределение классов \\\"{column}\\\" в тренировочной выборке\")\n",
    "\n",
    "   # Отображение графиков\n",
    "   plt.tight_layout()\n",
    "   plt.show()\n",
    " \n",
    "\n",
    "# Проверка сбалансированности\n",
    "check_balance(df_train, 'Обучающая выборка', 'hazardous')\n",
    "check_balance(df_val, 'Контрольная выборка', 'hazardous')\n",
    "check_balance(df_test, 'Тестовая выборка', 'hazardous')\n",
    "\n",
    "# Проверка необходимости аугментации\n",
    "print(f\"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train, 'hazardous', True, False) else ''}требуется\")\n",
    "print(f\"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val, 'hazardous', True, False) else ''}требуется\")\n",
    "print(f\"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test, 'hazardous', True, False) else ''}требуется\")\n",
    "   \n",
    "# Визуализация сбалансированности классов\n",
    "visualize_balance(df_train, df_val, df_test, 'hazardous')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Приращение данных:\n",
    "\n",
    "**Аугментация данных** может быть полезна в том случае, когда имеется недостаточное количество данных и мы хотим сгенерировать новые данные на основе имеющихся, слегка модифицировав их.\n",
    "\n",
    "**Методы решения:**\n",
    "1. **Выборка с избытком (oversampling).** Копирование наблюдений или генерация новых наблюдений на основе существующих с помощью алгоритмов SMOTE и ADASYN (нахождение k-ближайших соседей).\n",
    "2. **Выборка с недостатком (undersampling).** Исключение некоторых наблюдений для меток с большим количеством наблюдений. Наблюдения можно исключать случайным образом или на основе определения связей Томека для наблюдений разных меток."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "После применения метода oversampling:\n",
      "Обучающая выборка:  (98782, 21784)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "True     49585\n",
      "False    49197\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"True\": 50.20%\n",
      "Процент объектов класса \"False\": 49.80%\n",
      "\n",
      "Контрольная выборка:  (33168, 11762)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "True     16769\n",
      "False    16399\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"True\": 50.56%\n",
      "Процент объектов класса \"False\": 49.44%\n",
      "\n",
      "Тестовая выборка:  (32695, 11820)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    16400\n",
      "True     16295\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 50.16%\n",
      "Процент объектов класса \"True\": 49.84%\n",
      "\n",
      "Для обучающей выборки аугментация данных не требуется\n",
      "Для контрольной выборки аугментация данных не требуется\n",
      "Для тестовой выборки аугментация данных не требуется\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABg4AAAHxCAYAAAC1TkfqAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADC/0lEQVR4nOzdd3hT1f8H8Hd3SwerbJA9ZIkiDoaAArJElKGoP4YDFFDBjX4RcCGiskVQBARkCygiexbKprRQCqWD0kH3brPP74+Y0JBOaHqS2/frefIoaXLzzk1yz733c865TkIIASIiIiIiIiIiIiIiIgDOsgMQEREREREREREREZH9YOGAiIiIiIiIiIiIiIjMWDggIiIiIiIiIiIiIiIzFg6IiIiIiIiIiIiIiMiMhQMiIiIiIiIiIiIiIjJj4YCIiIiIiIiIiIiIiMxYOCAiIiIiIiIiIiIiIjMWDoiIiIiIiIiIiIiIyIyFAyIiB5CRkYHr169Dp9PJjkLlSAiBtLQ0hIeHy45CRERE5Uij0eDWrVuIj4+XHYWIiIhsKDc3Fzdv3kR6errsKOWOhQMiB9CkSRMMHjxYdoxy06tXL/Tq1Ut2DLum1Wrx3Xff4YEHHoCHhweqV6+Oli1b4sCBA7KjOYRLly5h+/bt5n8HBQXhn3/+kReogOzsbPzvf/9D69at4e7ujpo1a6JVq1a4evWq7GhEdI/YXhPZ3tq1axEdHW3+96pVqxAXFycvUAFnz57FSy+9BH9/f3h4eKBevXoYNmyY7FhElR7bZyLH9M0338BgMAAADAYDZs+eLTnRbZs3b8ZTTz0FX19f+Pj44L777sN3330nO1a5K1PhYNWqVXBycjLfPD090apVK0yePBmJiYm2ykikeDNnzkSTJk0A3P6dke316tULY8eOBQCMHTvWbna+1Go1+vTpg+nTp6NXr17YvHkz9u3bh4MHD+Lxxx+XHc8hZGdnY8KECTh58iTCw8Px7rvvIiQkRHYspKam4vHHH8fChQsxfPhw7NixA/v27cPhw4fN24DywPaayDbYXsthr+01yXHs2DF89NFHiI6Oxp49ezBp0iQ4O8vvD7djxw50794doaGh+Prrr7Fv3z7s27cPy5YtMz+G7TORbbB9loPtM9na6tWr8f333yM2NhY//PADVq9eLTsSAOCTTz7ByJEj4evri19++QX79u3D/v37MXHiRNnRyp3r3Tzpiy++QNOmTaFSqRAQEIClS5di165duHTpEqpUqVLeGYmIKpU5c+bg1KlT2LNnD3e+7tLjjz9uvgFAq1at8MYbb0hOBXz44YdISEhAYGAg2rVrZ/PXY3tNRERKM3XqVPTq1QtNmzYFALz33nuoV6+e1ExpaWl4/fXX8fTTT2Pz5s1wd3cv9vFsn4mIiEr2xRdfYPTo0fj444/h4eGBtWvXyo6EI0eOYM6cOZg9ezY++eQT2XFs7q4KBwMGDMDDDz8MAHj99ddRs2ZN/Pjjj9ixYwdGjRpVrgGJyPHk5ubC29tbdgyHpNPpMH/+fLz//vssGtyj7du3IzQ0FPn5+ejQoUOJB/G2lpSUhNWrV+Pnn3+ukKIBwPaaiIrH9pocUZs2bRAREYFLly7B398fzZs3lx0JK1euhEqlwqpVq0q1v8H2mYiKw/aZyOiFF15A7969cf36dbRs2RK1atWSHQnff/89unbtWimKBkA5XePgySefBABERUUBMPa4+OCDD9ChQwf4+PjAz88PAwYMwMWLF62eq1KpMHPmTLRq1Qqenp6oV68enn/+eURERAAAoqOjLYZz3nkreGLt8OHDcHJywsaNG/Hpp5+ibt268Pb2xpAhQ3Dz5k2r1z516hT69++PqlWrokqVKujZsyeOHz9e6Hvs1atXoa8/c+ZMq8euXbsWnTt3hpeXF2rUqIEXX3yx0Ncv7r0VZDAYMH/+fLRr1w6enp6oU6cOJkyYYHXRjaLm7Zs8ebLVMgvLPnfuXKt1ChinTZkxYwZatGgBDw8PNGrUCB999BHUanWh66qgwube+/rrr+Hs7Iw//vjjrtaH6Udas2ZNeHl5oXPnztiyZUuhr7927Vo88sgjqFKlCqpXr44nnngCe/futXjMv//+i549e8LX1xd+fn7o0qWLVbbNmzebP1N/f3+88sorVnOpjh071iJz9erV0atXLxw7dqzE9VRaAQEBeOSRR+Dp6YlmzZrh999/t/h7aX97TZo0KXJdHz58GABw48YNTJw4Ea1bt4aXlxdq1qyJESNGWMwpC9weCnrkyBFMnDgRtWvXRsOGDc1/X758OZo3bw4vLy888sgjRa6PpKQkvPbaa6hTpw48PT3xwAMPWA1DM/3GTRlNTN+dVatWme+7desWxo0bh4YNG5rnmH322Wet8pdVwXXn7OyMunXr4oUXXkBMTEypnv/TTz+hXbt28PDwQP369TFp0iRkZGSY/3716lWkp6fD19cXPXv2RJUqVVC1alUMHjwYly5dMj/u0KFDcHJywrZt26xe448//oCTkxMCAwPNmU1DSE0KW5fHjh3DiBEjcN9995l/61OnTkV+fr7Fc2fOnGn1u1y3bh06deoET09P1KxZE6NGjbJaJ2PHjoWPj4/FfVu2bCn0M/Xx8bHKDJRu+1pwu9O2bVt07twZFy9eLHR7Upg7t/f+/v4YNGiQxfoHjNvRyZMnF7kc02/D9J07c+YMDAYDNBoNHn744WLXFQAcPHgQPXr0gLe3N6pVq4Znn30WV65csXiM6bMICwvDyJEj4efnh5o1a2LdunVWy3NyckJCQgIAY3ut0+nQp08f8zQJBbcZX3/9tdV6Dg8PZ3vN9rpM64PtNdtrR22vC2s3x48fD09PT6v3VFK7Dhh/X+3bt7d6ne+//96inSju83ZycjJPw2Faj99//z3mzZuHxo0bw8vLCz179rRqq4DStSeFrbfCvm+mx5Q0V3jBjHdq37691famNN+rgt8fb29vPProo2jevDkmTZoEJyenQvcbCnu+6ebm5oYmTZrgww8/hEajMT/O9Fs5e/Zskcu6c5t58uRJdOrUCd988w0aNWoEDw8PtGzZEt9++615buaCfv31VzRv3hweHh5o0qSJue0peDxdtWpV+Pn5wcvLCy4uLnB2dkazZs3w559/Wizrl19+gZOTE5o2bWpun/v06QM/Pz8MHjwY169fL/Z71axZM3NGts9sn+/E9pnts720z7ZqI8PCwjB8+HDUqFEDnp6eePjhh/HXX39ZPKaodiElJcVqW1DYsXJOTg7q1q1rte5N+wfnzp1D165d4eXlhaZNm+Lnn3+2ylmWdrKkdg4AIiMjMWLECNSoUQNVqlTBY489ZnVNwMLeC2C9n1SW9QMAFy5cwIABA+Dn5wcfHx889dRTOHnypMVjCh5L165d27zN6tixo9V3tTB3Tg1YpUoVdOjQAb/++qvF4wo7R3GnO9/DyZMn0b59e7z44ouoUaMGvLy80KVLF4trLJqU5XMrzXd27NixVlMcr127Fs7Ozvj2228t7i/Nd7s07mrEwZ1MJw1q1qwJwPgF3L59O0aMGIGmTZsiMTERy5YtQ8+ePREaGor69esDAPR6PQYPHowDBw7gxRdfxLvvvovs7Gzs27cPly5dsug9MmrUKAwcONDidadNm1Zonq+//hpOTk74+OOPkZSUhPnz56NPnz4ICgqCl5cXAOMO9IABA9C5c2fMmDEDzs7OWLlyJZ588kkcO3YMjzzyiNVyGzZsaL4QR05ODt56661CX3v69OkYOXIkXn/9dSQnJ2PRokV44okncOHCBVSrVs3qOePHj0ePHj0AAH/++afVicAJEyZg1apVGDduHN555x1ERUVh8eLFuHDhAo4fPw43N7dC10NZZGRkFHqREYPBgCFDhiAgIADjx4/H/fffj5CQEMybNw/Xrl0r9IdRnJUrV+J///sffvjhB7z00kuFPqak9bFgwQIMGTIEL7/8MjQaDTZs2IARI0Zg586dGDRokPlxs2bNwsyZM9G1a1d88cUXcHd3x6lTp3Dw4EH069cPgHFj8uqrr6Jdu3aYNm0aqlWrhgs
      "text/plain": [
       "<Figure size 1500x500 with 3 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Метод приращения с избытком (oversampling)\n",
    "def oversample(df: DataFrame, column: str) -> DataFrame:\n",
    "    X: DataFrame = pd.get_dummies(df.drop(column, axis=1))\n",
    "    y: DataFrame = df[column] # type: ignore\n",
    "    \n",
    "    adasyn = ADASYN()\n",
    "    X_resampled, y_resampled = adasyn.fit_resample(X, y) # type: ignore\n",
    "    \n",
    "    df_resampled: DataFrame = pd.concat([X_resampled, y_resampled], axis=1)\n",
    "    return df_resampled\n",
    "\n",
    "\n",
    "# Приращение данных (oversampling)\n",
    "df_train_oversampled: DataFrame = oversample(df_train, 'hazardous')\n",
    "df_val_oversampled: DataFrame = oversample(df_val, 'hazardous')\n",
    "df_test_oversampled: DataFrame = oversample(df_test, 'hazardous')\n",
    "\n",
    "# Проверка сбалансированности\n",
    "print('После применения метода oversampling:')\n",
    "check_balance(df_train_oversampled, 'Обучающая выборка', 'hazardous')\n",
    "check_balance(df_val_oversampled, 'Контрольная выборка', 'hazardous')\n",
    "check_balance(df_test_oversampled, 'Тестовая выборка', 'hazardous')\n",
    "\n",
    "# Проверка необходимости аугментации\n",
    "print(f\"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_oversampled, 'hazardous', True, False) else ''}требуется\")\n",
    "print(f\"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_oversampled, 'hazardous', True, False) else ''}требуется\")\n",
    "print(f\"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_oversampled, 'hazardous', True, False) else ''}требуется\")\n",
    "   \n",
    "# Визуализация сбалансированности классов\n",
    "visualize_balance(df_train_oversampled, df_val_oversampled, df_test_oversampled, 'hazardous')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "После применения метода undersampling:\n",
      "Обучающая выборка:  (10608, 21784)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    5304\n",
      "True     5304\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 50.00%\n",
      "Процент объектов класса \"True\": 50.00%\n",
      "\n",
      "Контрольная выборка:  (3536, 11762)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    1768\n",
      "True     1768\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 50.00%\n",
      "Процент объектов класса \"True\": 50.00%\n",
      "\n",
      "Тестовая выборка:  (3536, 11820)\n",
      "Распределение выборки данных по классам \"hazardous\":\n",
      " hazardous\n",
      "False    1768\n",
      "True     1768\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"False\": 50.00%\n",
      "Процент объектов класса \"True\": 50.00%\n",
      "\n",
      "Для обучающей выборки аугментация данных не требуется\n",
      "Для контрольной выборки аугментация данных не требуется\n",
      "Для тестовой выборки аугментация данных не требуется\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABgcAAAHzCAYAAAAEk80rAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAACIjUlEQVR4nOzdd3gU9d6G8WfTQxJqIPTepInSpAkqqJRXsYD1UGwoYsHu8ShgQ8QCYkOPIgo25Ah2AQEVREEUpEsJICAldEL6zvtHyJrNbvruzszu/bmuXErYbL7Zdk/4zcw6DMMwBAAAAAAAAAAAQkaY2QMAAAAAAAAAAIDAYnEAAAAAAAAAAIAQw+IAAAAAAAAAAAAhhsUBAAAAAAAAAABCDIsDAAAAAAAAAACEGBYHAAAAAAAAAAAIMSwOAAAAAAAAAAAQYlgcAAAAAAAAAAAgxLA4AAA2cPToUW3dulXZ2dlmjwIfMgxDhw8f1pYtW8weBQAAlFNmZqb27dunvXv3mj0KAADwodTUVP311186cuSI2aP4HIsDgA00bNhQAwcONHsMn+ndu7d69+5t9hiWlpWVpWeffVZnnnmmoqOjVaVKFTVr1kzfffed2aPZwrp16zR37lzXn1evXq0vv/zSvIHyOXHihP7zn/+oRYsWioqKUrVq1dS8eXNt3rzZ7NEAlAGNBvxv5syZ2rFjh+vP77zzjvbs2WPeQPn8+uuvuvbaa5WYmKjo6GjVqlVLV1xxhdljASGHHgP29PTTT8vpdEqSnE6nJkyYYPJE/5g9e7YuuOACJSQkKD4+XvXr19ezzz5r9lg+V6rFgXfeeUcOh8P1ERMTo+bNm2v06NHav3+/v2YEgt64cePUsGFDSf88z+B/vXv31vDhwyVJw4cPt8zGV0ZGhvr06aNHH31UvXv31uzZs7VgwQItWrRIXbt2NXs8Wzhx4oRGjhypn3/+WVu2bNFdd92ltWvXmj2WDh06pK5du+qll17SlVdeqXnz5mnBggVasmSJ6zWgrGg04B802hxWbTTM8eOPP+qBBx7Qjh079O233+r2229XWJj5+7nNmzdPPXr00IYNG/TUU09pwYIFuu+++/Tzzz/TY8DH6LE56DH8bcaMGXruuee0e/duPf/885oxY4bZI0mSHnroIQ0ZMkQJCQl68803tWDBAi1cuFCjRo0yezSfiyjLFz3++ONq1KiR0tPTtXTpUr322mv66quvtG7dOlWoUMHXMwJASJk4caJ++eUXffvtt2x8lVHXrl1dH5LUvHlz3XzzzSZPJd1///36+++/tXz5crVu3dov34NGAwCCzZgxY9S7d281atRIknTPPfeoVq1aps50+PBh3XTTTbrooos0e/ZsRUVFSZJ2794tiR4DAFASjz/+uIYOHaoHH3xQ0dHRmjlzptkj6fvvv9fEiRM1YcIEPfTQQ2aP43dlWhzo16+fOnbsKEm66aabVK1aNb3wwguaN2+errnmGp8OCMB+UlNTFRcXZ/YYtpSdna3Jkyfr3nvvZWGgnObOnasNGzYoLS1Nbdu2df3SbpYDBw5oxowZev311/22MCDRaABFo9Gwo5YtW2rbtm1at26dEhMT1aRJE7NH0vTp05Wenq533nnH6zYGPQZQFHoM5Lrqqqt03nnnaevWrWrWrJmqV69u9kh67rnn1K1bt5BYGJB89J4D559/viQpOTlZUu5eFPfdd5/atm2r+Ph4VaxYUf369dOaNWs8vjY9PV3jxo1T8+bNFRMTo1q1aunyyy/Xtm3bJEk7duxwO01CwY/8/3i2ZMkSORwOffTRR/r3v/+tmjVrKi4uTpdccon++usvj+/9yy+/6OKLL1alSpVUoUIF9erVS8uWLfP6M/bu3dvr9x83bpzHZWfOnKkOHTooNjZWVatW1dVXX+31+xf1s+XndDo1efJktW7dWjExMUpKStLIkSM93gSjsHPsjR492uM6vc0+adIkj9tUyj3FydixY9W0aVNFR0erXr16euCBB5SRkeH1tsrP23nynnrqKYWFhen9998v0+2R9yStVq2aYmNj1aFDB33yySdev//MmTPVuXNnVahQQVWqVNG5556r+fPnu13m66+/Vq9evZSQkKCKFSuqU6dOHrPNnj3bdZ8mJibq+uuv9zjP6fDhw91mrlKlinr37q0ff/yx2NuppJYuXarOnTsrJiZGjRs31rvvvuv29yV97jVs2LDQ23rJkiWSpJ07d2rUqFFq0aKFYmNjVa1aNQ0ePNjtfK/SP4d0fv/99xo1apRq1KihunXruv7+jTfeUJMmTRQbG6vOnTsXenscOHBAN954o5KSkhQTE6MzzzzT43CyvOd43ox58h4777zzjutz+/bt04gRI1S3bl3X+V8vvfRSj/lLK/9tFxYWppo1a+qqq67Srl27SvT1r776qlq3bq3o6GjVrl1bt99+u44ePer6+82bN+vIkSNKSEhQr169VKFCBVWqVEkDBw7UunXrXJdbvHixHA6HPv30U4/v8f7778vhcGj58uWumfMOBc3j7bb88ccfNXjwYNWvX9/1XB8zZozS0tLcvnbcuHEez8tZs2apffv2iomJUbVq1XTNNdd43CbDhw9XfHy82+c++eQTr/dpfHy8x8xSyV5f87/utGrVSh06dNCaNWu8vp54U/D1PjExUQMGDHC7/aXc19HRo0cXej15z428x9zKlSvldDqVmZmpjh07FnlbSdKiRYvUs2dPxcXFqXLlyrr00ku1ceNGt8vk3RebNm3Sq6++Kkm64IILdNdddyk9PV3SP42+9tprNW7cONfrRJs2bRQRESGHw6GePXu6vU7k3c4xMTGKjY1VQkICjabRNLoYNNrejfbWyltuuUUxMTEeP1NxLZdyn19t2rTx+D7PPfecWxuKur8dDofrFBp5t+Nzzz2nF198UQ0aNFBsbKx69erl0SepZA3xdrt5e7zlXaa4c3nnn7GgNm3aeLzelORxlf/xExcXpy5duqhJkya6/fbb5XA4vG4rePv6vI/IyEg1bNhQ999/vzIzM12Xy3uu/Prrr4VeV8HXzJ9//lnt27fX008/rXr16ik6OlrNmjXz+h5H2dnZrlMK/etf/1LDhg01ZswYjRkzxu01ITY21vVamLdd1apVK3344YduvzNXrlzZ9dz29nMW/Khbt65rxjp16sjhcOiDDz6gx/nQY3pMj83vsb+auGnTJl155ZWqWrWqYmJi1LFjR3322WdulymsAykpKR6vBd5+Hz558qRq1qzpcdvnbQ+sWrVK3bp1U2xsrBo1aqTXX3/dY87SdLG4rknS9u3bNXjwYFWtWlUVKlTQOeec49Eobz+L5LldVJrbR5J+//139evXTxUrVlR8fLwuuOAC/fzzz26Xyf/7co0aNVyvWe3atfN4rHpT8LS6FSpUUNu2bfXf//7X7XLe/h2ioII/w88//6w2bdro6quvVtWqVRUbG6tOnTq5va9hntLcbyV5zA4fPtzjlMMzZ85UWFiYnnnmGbfPl+SxXRJlOnKgoLx/JKhWrZqk3Afg3LlzNXjwYDVq1Ej79+/XtGnT1KtXL23YsEG1a9eWJOXk5GjgwIH67rvvdPXVV+uuu+7SiRMntGDBAq1bt85tj5BrrrlG/fv3d/u+Dz/8sNd5nnrqKTkcDj344IM6cOCAJk+erD59+mj16tWKjY2VlLvB3K9fP3Xo0EFjx45VWFiYpk+frvPPP18//vijOnfu7HG9devWdb0xxsmTJ3Xbbbd5/d6PPvqohgwZoptuukkHDx7U1KlTde655+r3339X5cqVPb7mlltuUc+ePSVJ//vf/zz+sW/kyJF65513NGLECN15551KTk7Wyy+/rN9//13Lli1TZGSk19uhNI4ePer1TT+cTqcuueQSLV26VLfccovOOOMMrV27Vi+++KL+/PNPr0+MokyfPl3/+c9/9Pzzz+vaa6/1epnibo8pU6bokksu0XXXXafMzEx9+OGHGjx4sL744gsNGDDAdbnx48dr3Lhx6tatmx5//HFFRUXpl19+0aJFi3ThhRdKyn0xueGGG9S6dWs9/PDDqly
      "text/plain": [
       "<Figure size 1500x500 with 3 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Метод приращения с недостатком (undersampling)\n",
    "def undersample(df: DataFrame, column: str) -> DataFrame:\n",
    "    X: DataFrame = pd.get_dummies(df.drop(column, axis=1))\n",
    "    y: DataFrame = df[column] # type: ignore\n",
    "    \n",
    "    undersampler = RandomUnderSampler()\n",
    "    X_resampled, y_resampled = undersampler.fit_resample(X, y) # type: ignore\n",
    "    \n",
    "    df_resampled: DataFrame = pd.concat([X_resampled, y_resampled], axis=1)\n",
    "    return df_resampled\n",
    "\n",
    "\n",
    "# Приращение данных (undersampling)\n",
    "df_train_undersampled: DataFrame = undersample(df_train, 'hazardous')\n",
    "df_val_undersampled: DataFrame = undersample(df_val, 'hazardous')\n",
    "df_test_undersampled: DataFrame = undersample(df_test, 'hazardous')\n",
    "\n",
    "# Проверка сбалансированности\n",
    "print('После применения метода undersampling:')\n",
    "check_balance(df_train_undersampled, 'Обучающая выборка', 'hazardous')\n",
    "check_balance(df_val_undersampled, 'Контрольная выборка', 'hazardous')\n",
    "check_balance(df_test_undersampled, 'Тестовая выборка', 'hazardous')\n",
    "\n",
    "# Проверка необходимости аугментации\n",
    "print(f\"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_undersampled, 'hazardous', True, False) else ''}требуется\")\n",
    "print(f\"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_undersampled, 'hazardous', True, False) else ''}требуется\")\n",
    "print(f\"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_undersampled, 'hazardous', True, False) else ''}требуется\")\n",
    "   \n",
    "# Визуализация сбалансированности классов\n",
    "visualize_balance(df_train_undersampled, df_val_undersampled, df_test_undersampled, 'hazardous')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Датасет №2: [Зарплаты в области Data Science](https://www.kaggle.com/datasets/henryshan/2023-data-scientists-salary).\n",
    "\n",
    "### Описание датасета:\n",
    "Данный набор данных предназначен для исследования факторов, влияющих на заработную плату специалистов по данным (Data Scientists) в 2023 году. Набор данных содержит информацию о различных характеристиках работников, таких как уровень опыта, тип занятости, местоположение сотрудника и компании, удалённость работы и размер компании. Этот анализ помогает понять, какие факторы наиболее значимо влияют на уровень зарплат в области Data Science, и как изменяются заработные платы в зависимости от этих факторов.\n",
    "\n",
    "---\n",
    "\n",
    "### Анализ сведений:\n",
    "**Проблемная область:**\n",
    "Основная задача – изучить, как различные факторы, такие как опыт, тип занятости, местоположение и удалённость работы, влияют на уровень зарплаты специалистов по данным. Это важно для понимания рыночных тенденций и формирования конкурентоспособной системы оплаты труда.\n",
    "\n",
    "**Актуальность:**\n",
    "Данный набор данных актуален для компаний, стремящихся выстроить конкурентоспособные стратегии оплаты труда, а также для специалистов по данным, желающих оценить свои зарплатные ожидания в зависимости от их опыта, географии и типа занятости.\n",
    "\n",
    "**Объекты наблюдения:**\n",
    "Объектами наблюдения являются специалисты по данным, работающие в различных компаниях и странах, с разным уровнем опыта и типом занятости.\n",
    "\n",
    "**Атрибуты объектов:**\n",
    "- work_year: Год, в который была выплачена зарплата.\n",
    "- experience_level: Уровень опыта сотрудника.\n",
    "    - EN: Начальный.\n",
    "    - MI: Средний.\n",
    "    - SE: Старший.\n",
    "    - EX: Исполнительный.\n",
    "- employment_type: Тип занятости.\n",
    "    - PT: Полная.\n",
    "    - FT: Частичная.\n",
    "    - CT: Контрактная.\n",
    "    - FL: Фриланс.\n",
    "- job_title: Должность, которую занимал сотрудник.\n",
    "- salary: Общая сумма выплаченной заработной платы.\n",
    "- salary_currency: Валюта, в которой выплачена зарплата.\n",
    "- salary_in_usd: Заработная плата, конвертированная в доллары США (USD).\n",
    "- employee_residence: Страна проживания сотрудника в год выплаты зарплаты.\n",
    "- remote_ratio: Доля удалённой работы (например, 100% удалённо или частично удалённо).\n",
    "- company_location: Страна, в которой расположена основная офисная компания работодателя.\n",
    "- company_size: Среднее количество сотрудников, работающих в компании.\n",
    "\n",
    "**Связь между объектами:**\n",
    "Набор данных позволяет исследовать взаимосвязи между факторами, такими как уровень опыта, тип занятости и местоположение сотрудника, с уровнем его заработной платы. Взаимосвязи между этими факторами могут дать полезную информацию о влиянии определённых условий работы на доход.\n",
    "\n",
    "---\n",
    "\n",
    "### Качество набора данных:\n",
    "**Информативность:**\n",
    "Датасет предоставляет важную информацию для анализа различных факторов, влияющих на зарплату специалистов по данным. Он включает множество атрибутов, которые можно использовать для построения моделей и анализа.\n",
    "\n",
    "**Степень покрытия:**\n",
    "Набор данных охватывает специалистов по данным с разным опытом, работающих в различных странах, что позволяет провести сравнительный анализ и выявить региональные и глобальные тренды.\n",
    "\n",
    "**Соответствие реальным данным:**\n",
    "ДЗаработные платы специалистов по данным, приведенные в датасете, отражают реальную ситуацию на рынке труда в 2023 году, предоставляя точные данные для анализа текущих рыночных условий.\n",
    "\n",
    "**Согласованность меток:**\n",
    "Все категории, такие как уровни опыта или типы занятости, имеют четко определённые метки, что упрощает анализ и моделирование.\n",
    "\n",
    "---\n",
    "\n",
    "### Бизес-цели:\n",
    "1. **Оптимизация структуры оплаты труда:**\n",
    "Компании могут использовать данный анализ для создания конкурентных предложений по оплате труда, основываясь на опыте, географии и других значимых факторах.\n",
    "2. **Планирование найма и удержание специалистов:**\n",
    "Помогает работодателям понять, какие факторы могут привлечь или удержать специалистов по данным, и оптимизировать HR-процессы для сокращения текучести кадров.**\n",
    "3. **Анализ глобальных и региональных зарплатных трендов:**\n",
    "Позволяет компаниям проводить сравнительный анализ зарплат по регионам, уровням опыта и типам занятости, помогая в принятии решений о расширении бизнеса в разные страны.**\n",
    "\n",
    "**Эффект для бизнеса:**\n",
    "Компании, использующие данную информацию, могут предлагать конкурентоспособные зарплаты, улучшить процессы найма и удержания специалистов, а также сократить издержки, связанные с высокими зарплатными ожиданиями. Это также помогает улучшить планирование бюджета на персонал.\n",
    "\n",
    "---\n",
    "\n",
    "### Технические цели:\n",
    "1. **Построение модели прогнозирования зарплат:**\n",
    "Создание модели, которая будет предсказывать уровень зарплаты специалиста по данным на основе таких факторов, как опыт, регион и удалённость работы.\n",
    "2. **Анализ влияния опыта и удалённости на зарплату:**\n",
    "Исследование того, как уровень опыта и удалённость работы влияют на заработную плату, что может помочь компаниям лучше планировать условия найма.\n",
    "3. **Оптимизация найма специалистов:**\n",
    "С помощью анализа компания может определить наиболее значимые факторы для назначения зарплат, чтобы предлагать более конкурентные условия и привлекать лучших специалистов.\n",
    "\n",
    "**Входные данные:**\n",
    "Год, уровень опыта, тип занятости, должность, зарплата, страна проживания, удалённость работы.\n",
    "\n",
    "**Целевой признак:**\n",
    "Признак \"salary_in_usd\" – заработная плата в долларах США.\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Выгрузка данных из файла в DataFrame:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "df: DataFrame = pd.read_csv('..//static//csv//ds_salaries.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Краткая информация о DataFrame:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 3755 entries, 0 to 3754\n",
      "Data columns (total 11 columns):\n",
      " #   Column              Non-Null Count  Dtype \n",
      "---  ------              --------------  ----- \n",
      " 0   work_year           3755 non-null   int64 \n",
      " 1   experience_level    3755 non-null   object\n",
      " 2   employment_type     3755 non-null   object\n",
      " 3   job_title           3755 non-null   object\n",
      " 4   salary              3755 non-null   int64 \n",
      " 5   salary_currency     3755 non-null   object\n",
      " 6   salary_in_usd       3755 non-null   int64 \n",
      " 7   employee_residence  3755 non-null   object\n",
      " 8   remote_ratio        3755 non-null   int64 \n",
      " 9   company_location    3755 non-null   object\n",
      " 10  company_size        3755 non-null   object\n",
      "dtypes: int64(4), object(7)\n",
      "memory usage: 322.8+ KB\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>count</th>\n",
       "      <th>mean</th>\n",
       "      <th>std</th>\n",
       "      <th>min</th>\n",
       "      <th>25%</th>\n",
       "      <th>50%</th>\n",
       "      <th>75%</th>\n",
       "      <th>max</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>work_year</th>\n",
       "      <td>3755.0</td>\n",
       "      <td>2022.373635</td>\n",
       "      <td>0.691448</td>\n",
       "      <td>2020.0</td>\n",
       "      <td>2022.0</td>\n",
       "      <td>2022.0</td>\n",
       "      <td>2023.0</td>\n",
       "      <td>2023.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>salary</th>\n",
       "      <td>3755.0</td>\n",
       "      <td>190695.571771</td>\n",
       "      <td>671676.500508</td>\n",
       "      <td>6000.0</td>\n",
       "      <td>100000.0</td>\n",
       "      <td>138000.0</td>\n",
       "      <td>180000.0</td>\n",
       "      <td>30400000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>salary_in_usd</th>\n",
       "      <td>3755.0</td>\n",
       "      <td>137570.389880</td>\n",
       "      <td>63055.625278</td>\n",
       "      <td>5132.0</td>\n",
       "      <td>95000.0</td>\n",
       "      <td>135000.0</td>\n",
       "      <td>175000.0</td>\n",
       "      <td>450000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>remote_ratio</th>\n",
       "      <td>3755.0</td>\n",
       "      <td>46.271638</td>\n",
       "      <td>48.589050</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>100.0</td>\n",
       "      <td>100.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                count           mean            std     min       25%  \\\n",
       "work_year      3755.0    2022.373635       0.691448  2020.0    2022.0   \n",
       "salary         3755.0  190695.571771  671676.500508  6000.0  100000.0   \n",
       "salary_in_usd  3755.0  137570.389880   63055.625278  5132.0   95000.0   \n",
       "remote_ratio   3755.0      46.271638      48.589050     0.0       0.0   \n",
       "\n",
       "                    50%       75%         max  \n",
       "work_year        2022.0    2023.0      2023.0  \n",
       "salary         138000.0  180000.0  30400000.0  \n",
       "salary_in_usd  135000.0  175000.0    450000.0  \n",
       "remote_ratio        0.0     100.0       100.0  "
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Краткая информация о DataFrame\n",
    "df.info()\n",
    "\n",
    "# Статистическое описание числовых столбцов\n",
    "df.describe().transpose()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Проблема пропущенных данных:\n",
    "\n",
    "Проверка на отсутствие значений, представленная ниже, показала, что DataFrame не имеет пустых значений признаков. Нет необходимости использовать методы заполнения пропущенных данных."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "work_year             False\n",
      "experience_level      False\n",
      "employment_type       False\n",
      "job_title             False\n",
      "salary                False\n",
      "salary_currency       False\n",
      "salary_in_usd         False\n",
      "employee_residence    False\n",
      "remote_ratio          False\n",
      "company_location      False\n",
      "company_size          False\n",
      "dtype: bool \n",
      "\n",
      "work_year             0\n",
      "experience_level      0\n",
      "employment_type       0\n",
      "job_title             0\n",
      "salary                0\n",
      "salary_currency       0\n",
      "salary_in_usd         0\n",
      "employee_residence    0\n",
      "remote_ratio          0\n",
      "company_location      0\n",
      "company_size          0\n",
      "dtype: int64\n"
     ]
    }
   ],
   "source": [
    "# Проверка пропущенных данных\n",
    "check_null_columns(df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Проблема зашумленности данных:\n",
    "\n",
    "Представленный ниже код помогает определить наличие выбросов в наборе данных и устранить их (при наличии), заменив значения ниже нижней границы (рассматриваемого минимума) на значения нижней границы, а значения выше верхней границы (рассматриваемого максимума) – на значения верхней границы."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Колонка work_year:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 76\n",
      "\tМинимальное значение: 2020\n",
      "\tМаксимальное значение: 2023\n",
      "\t1-й квартиль (Q1): 2022.0\n",
      "\t3-й квартиль (Q3): 2023.0\n",
      "\n",
      "Колонка salary:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 113\n",
      "\tМинимальное значение: 6000\n",
      "\tМаксимальное значение: 30400000\n",
      "\t1-й квартиль (Q1): 100000.0\n",
      "\t3-й квартиль (Q3): 180000.0\n",
      "\n",
      "Колонка salary_in_usd:\n",
      "\tЕсть выбросы: Да\n",
      "\tКоличество выбросов: 63\n",
      "\tМинимальное значение: 5132\n",
      "\tМаксимальное значение: 450000\n",
      "\t1-й квартиль (Q1): 95000.0\n",
      "\t3-й квартиль (Q3): 175000.0\n",
      "\n",
      "Колонка remote_ratio:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 0\n",
      "\tМаксимальное значение: 100\n",
      "\t1-й квартиль (Q1): 0.0\n",
      "\t3-й квартиль (Q3): 100.0\n",
      "\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABdIAAAPOCAYAAAALMup9AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADbMklEQVR4nOzdeVhV5f7//xeDDIrgyGCi4FDOE5mAoqImebQktM7RSpzSEjspZYWZUyXlkHlyykqxo6hpqKmdlFSUEk8nzAo1v6WYlYBaCWoKCOv3hz/Wxy2IoOhGeD6ua1+67/u91nqvzd7ci/de6142hmEYAgAAAAAAAAAARbK1dgIAAAAAAAAAAJRnFNIBAAAAAAAAACgGhXQAAAAAAAAAAIpBIR0AAAAAAAAAgGJQSAcAAAAAAAAAoBgU0gEAAAAAAAAAKAaFdAAAAAAAAAAAikEhHQAAAAAAAACAYlBIBwAAAAAAAACgGBTSAaASmTp1qmxsbHT69GlrpwIAAG7SsWPHZGNjo5iYGGunAgDAHaW8j6EJCQmysbFRQkKCtVO5YUOHDpWPj4+10yhTFNIrmHXr1snGxqbIR6tWraydHlBpdO/eXUOHDpV0efDo3r27VfOpDAoOhAoONMrzQRFwq3AcAJQPleU44Mp9mzp1aoX7YxmVC2MoUD5UljG0srry73QfHx9NnTrVqvmUlr21E8CtMXHiRDVv3tx8/vrrr1sxGwAAcDtxHAAAwI1hDAVQHnTt2lUXLlyQg4ODtVPBFSikV1D333+/xbd277//PlM5AJXY+fPnVa1aNWuncUtcunRJ+fn51k4DKFc4DgBwIyry8QJQUoyhAG5EWY+htra2cnJyKrP1oWwwtUsFk5OTI+nyB+56YmJiZGNjo2PHjplt+fn5atOmTaEpEb777jsNHTpUjRo1kpOTkzw9PTV8+HD9/vvvFussmH/56oe9/f99Z9O9e3e1atVKycnJCgwMlLOzs3x9fbV48eJC+zJ58mT5+fnJzc1N1apVU1BQkHbu3GkRVzCdg42NjTZs2GDRd/HiRdWsWVM2NjaaPXt2oTzd3d2Vm5trscyqVavM9V15wLRx40b17dtX9erVk6Ojoxo3bqxXX31VeXl5132tC7b3ww8/6NFHH5Wrq6tq166tZ599VhcvXrSIXbZsmXr06CF3d3c5OjqqRYsWWrRoUaF19u/fXz4+PnJycpK7u7seeughff/99xYxBfvx9ttvF1q+WbNmsrGx0dixY822P/74Q88//7xat24tFxcXubq6qk+fPvr2228tlg0PD5eTk5MOHTpk0R4SEqKaNWvqxIkTZtvRo0f1yCOPqFatWqpatar8/f21ZcsWi+UK5v4qeDg6Ouruu+9WdHS0DMMo/sX9/13rvVfUZWBXvmeuflzp5MmTGjFihBo0aCA7OzszxsXFpUQ5XUuHDh0UFhZm0da6dWvZ2Njou+++M9vWrFkjGxsbi9f5m2++UZ8+feTq6ioXFxf17NlTe/futVhXwWd7165dGjNmjNzd3VW/fv1r5vPzzz+rSZMmatWqlTIyMq6b/9GjR2VjY6O5c+cW6tuzZ49sbGy0atUqs+23337T8OHD5eHhIUdHR7Vs2VJLly61WK60n/fZs2fr7bffVuPGjeXo6KiDBw9eN2+gMuA4YINFH8cBHAeUx+MASVq9erX8/PxUvXp1ubq6qnXr1po3b57ZX9KfRVFK+3k9ePCgBg8erJo1a6pLly5atmyZbGxs9M033xRa94wZM2RnZ6fffvvtpl8DoLxhDN1g0ccYyhjKGGrdMbSoOdILfgccPHhQwcHBqlq1qu666y7NnDmzROu8ko2NTZHTqvj4+JhT60hSbm6upk2bpqZNm8rJyUm1a9dWly5dFB8fb7Hchg0b1KpVKzk5OalVq1Zav359qXO6E3BGegVTMPg7Ojre0PL//ve/Cw0gkhQfH6+jR49q2LBh8vT01IEDB7RkyRIdOHBAe/fuLfRLc9GiRRa/IK8+GPnzzz/1t7/9TY8++qgGDRqkjz76SE8//bQcHBw0fPhwSVJWVpbef/99DRo0SE8++aTOnj2rDz74QCEhIfrqq6/Url07i3U6OTlp2bJlCg0NNdvi4uIKDa5XOnv2rDZv3qyHH37YbFu2bJmcnJwKLRcTEyMXFxdFRkbKxcVFO3bs0OTJk5WVlaVZs2ZdcxtXevTRR+Xj46Po6Gjt3btX//rXv/Tnn3/qww8/tHjtWrZsqYceekj29vbatGmTxowZo/z8fEVERFisb9SoUfL09NSJEyc0f/589erVS6mpqapatWqh12XcuHFm2549e/Tzzz8Xyu/o0aPasGGDHnnkEfn6+iojI0PvvvuuunXrpoMHD6pevXqSpHnz5mnHjh0KDw9XUlKS7Ozs9O6772rbtm3697//bcZlZGQoMDBQf/31l/75z3+qdu3aWr58uR566CGtW7fO4nWX/u8yygsXLmjNmjWaOHGi3N3dNWLEiBK9vgWvX8F7LyoqqtjYUaNGKSgoSNLl98rVv+jDw8P1+eef65lnnlHbtm1lZ2enJUuWaN++fSXOpyhBQUEWheY//vhDBw4ckK2trRITE9WmTRtJUmJiourWrWteWnrgwAEFBQXJ1dVVL7zwgqpUqaJ3331X3bt3165du9SpUyeL7YwZM0Z169bV5MmTdf78+SJzOXLkiHr06KFatWopPj5ederUuW7+jRo1UufOnbVy5UqNHz/eom/lypWqXr26+vfvL+nye8Df39880Kxbt67+85//aMSIEcrKyjLfl6X9vC9btkwXL17UqFGj5OjoqFq1anFWOiCOAzgO4DjgTjgOiI+P16BBg9SzZ0+9+eabkqRDhw7pyy+/1LPPPiup5D+La62/NJ/XRx55RE2bNtWMGTNkGIYGDhyoiIgIrVy5Uu3bt7eIXblypbp376677rrrpl4DoDxiDGUMZQxlDL0TxtA///xTDzzwgMLCwvToo49q3bp1evHFF9W6dWv16dPnptZdlKlTpyo6OlojR47Ufffdp6ysLH399dfat2+f7r//fknStm3bNGDAALVo0ULR0dH6/fffNWzYsGJP6LtjGahQ3n77bUOS8e2331q0d+vWzWjZsqVF27JlywxJRmpqqmEYhnHx4kWjQYMGRp8+fQxJxrJly8zYv/76q9C2Vq1aZUgydu/ebbZNmTLFkGScOnXqmjl269bNkGTMmTPHbMvOzjbatWtnuLu7Gzk5OYZhGMalS5eM7Oxsi2X//PNPw8PDwxg+fLjZlpqaakgyBg0aZNjb2xvp6elmX8+ePY3BgwcbkoxZs2YVynPQoEFGv379zPaff/7ZsLW1NQYNGlRoP4p6DUaPHm1UrVrVuHjx4jX398rtPfTQQxbtY8aMKfTzKmo7ISEhRqNGjYrdxkcffWRIMr7++muzTZIxcOBAw97e3qJ9xIgR5usSERFhtl+8eNHIy8uzWG9qaqrh6OhoTJ8+3aJ969athiTjtddeM44ePWq4uLgYoaGhFjHjxo0zJBmJiYlm29mzZw1fX1/Dx8fH3NbOnTsNScbOnTstcrG1tTXGjBlT7H4XmDhxoiHJOH36tNnWsmVLo1u3boVif/zxR0OSsXz5crOt4GdU4MKFC4atra0xevRoi2XDw8ONatWqlSina1m7dq0hyTh48KBhGIbxySefGI6OjsZDDz1k/P3vfzfj2rRpYzz88MPm89DQUMPBwcE4cuSI2XbixAmjevXqRteuXc22gs92ly5djEuXLlls+8rP6KFDh4x69eoZHTt2NP74449S7cO7775rSDIOHTpktuXk5Bh16tQxwsPDzbYRI0YYXl5eFj8XwzCMf/zjH4abm5v5fi/t593V1dU4efJkqXIGKgOOAzgO4Dig/B8HPPvss4arq2uhMfpKJf1ZFLz/b+bzOmjQoELxgwYNMurVq2eRw759+wptC6hIGEMZQxlDGUPL0xha1M+24HfAhx9+aLZlZ2cbnp6exoABA0q8bsO4/B6fMmVKofaGDRta/E3ftm1bo2/fvsWuq127doaXl5dx5swZs23btm2GJKN
      "text/plain": [
       "<Figure size 1500x1000 with 4 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Числовые столбцы DataFrame\n",
    "numeric_columns: list[str] = [\n",
    "    'work_year',\n",
    "    'salary',\n",
    "    'salary_in_usd',\n",
    "    'remote_ratio'\n",
    "]\n",
    "\n",
    "# Проверка выбросов\n",
    "check_outliers(df, numeric_columns)\n",
    "visualize_outliers(df, numeric_columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Колонка work_year:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 2020.5\n",
      "\tМаксимальное значение: 2023.0\n",
      "\t1-й квартиль (Q1): 2022.0\n",
      "\t3-й квартиль (Q3): 2023.0\n",
      "\n",
      "Колонка salary:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 6000.0\n",
      "\tМаксимальное значение: 300000.0\n",
      "\t1-й квартиль (Q1): 100000.0\n",
      "\t3-й квартиль (Q3): 180000.0\n",
      "\n",
      "Колонка salary_in_usd:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 5132.0\n",
      "\tМаксимальное значение: 295000.0\n",
      "\t1-й квартиль (Q1): 95000.0\n",
      "\t3-й квартиль (Q3): 175000.0\n",
      "\n",
      "Колонка remote_ratio:\n",
      "\tЕсть выбросы: Нет\n",
      "\tКоличество выбросов: 0\n",
      "\tМинимальное значение: 0\n",
      "\tМаксимальное значение: 100\n",
      "\t1-й квартиль (Q1): 0.0\n",
      "\t3-й квартиль (Q3): 100.0\n",
      "\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABdIAAAPeCAYAAAAI5OjmAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADEHUlEQVR4nOzdeVxV5fr//zegDIqgKIMeETUrwTHJgcyZQI+lFk024ZRlG0v5nPRw8jhWfNLULFEzE+wgOaWZw1HJsRLqhKGJyufkkJ6DoJZCkgLK+v3hj/V1C2xBTRBez8djPWqv+9r3utaCzb289lr3sjMMwxAAAAAAAAAAACiRfUUnAAAAAAAAAABAZUYhHQAAAAAAAAAAGyikAwAAAAAAAABgA4V0AAAAAAAAAABsoJAOAAAAAAAAAIANFNIBAAAAAAAAALCBQjoAAAAAAAAAADZQSAcAAAAAAAAAwAYK6QAAAAAAAAAA2EAhHQCqkcmTJ8vOzk5nzpyp6FQAAMBNOnbsmOzs7BQXF1fRqQAAcEep7GPojh07ZGdnpx07dlR0KjdsyJAhatq0aUWncUtRSK9iVq1aJTs7uxKX1q1bV3R6QLXRs2dPDRkyRNKVwaNnz54Vmk91UHQiVHSiUZlPioA/CucBQOVQXc4Drt63yZMnV7l/LKN6YQwFKofqMoZWV1f/O71p06aaPHlyheZTXjUqOgH8Mf72t7/J39/ffP3WW29VYDYAAOB24jwAAIAbwxgKoDLo3r27Lly4IEdHx4pOBVehkF5FPfTQQ1bf2i1atIipHIBqLDc3V7Vr167oNP4Qly5dUmFhYUWnAVQqnAcAuBFV+XwBKCvGUAA34laPofb29nJ2dr5l/eHWYGqXKiY/P1/SlQ/c9cTFxcnOzk7Hjh0z1xUWFqpt27bFpkTYt2+fhgwZoubNm8vZ2Vk+Pj4aNmyYfvnlF6s+i+ZfvnapUeP/fWfTs2dPtW7dWikpKXrggQfk4uKiZs2aacGCBcX2ZeLEiQoMDJS7u7tq166tbt26afv27VZxRdM52NnZ6fPPP7dqu3jxourVqyc7Ozu9++67xfL08vJSQUGB1Xs+/fRTs7+rT5jWrl2r/v37q1GjRnJyctJdd92ladOm6fLly9c91kXbO3TokJ588km5ubmpfv36eu2113Tx4kWr2NjYWPXu3VteXl5ycnJSQECA5s+fX6zPgQMHqmnTpnJ2dpaXl5cGDBigH3/80SqmaD/ee++9Yu9v2bKl7OzsFBERYa779ddf9Ze//EVt2rSRq6ur3Nzc1K9fP+3du9fqveHh4XJ2dtbBgwet1oeGhqpevXrKyMgw1x05ckRPPPGEPDw8VKtWLXXp0kUbNmywel/R3F9Fi5OTk+655x5FR0fLMAzbB/f/V9rvXkm3gV39O3PtcrVTp05p+PDhatKkiRwcHMwYV1fXMuVUmg4dOuixxx6zWtemTRvZ2dlp37595rrly5fLzs7O6jj/8MMP6tevn9zc3OTq6qo+ffooOTnZqq+iz/bOnTv1yiuvyMvLS40bNy41n59//lktWrRQ69atlZWVdd38jxw5Ijs7O82ePbtY2+7du2VnZ6dPP/3UXPff//5Xw4YNk7e3t5ycnNSqVSstXrzY6n3l/by/++67eu+993TXXXfJyclJBw4cuG7eQHXAecDnVm2cB3AeUBnPAyRp2bJlCgwMVJ06deTm5qY2bdpozpw5ZntZfxYlKe/n9cCBA3rmmWdUr149Pfjgg4qNjZWdnZ1++OGHYn2//fbbcnBw0H//+9+bPgZAZcMY+rlVG2MoYyhjaMWOoSXNkV70N+DAgQPq1auXatWqpT/96U+aPn16mfq8mp2dXYnTqjRt2tScWkeSCgoKNGXKFN19991ydnZW/fr19eCDDyoxMdHqfZ9//rlat24tZ2dntW7dWmvWrCl3TncCrkivYooGfycnpxt6/z/+8Y9iA4gkJSYm6siRIxo6dKh8fHyUlpamhQsXKi0tTcnJycX+aM6fP9/qD+S1JyNnz57Vn//8Zz355JMaPHiwVqxYoVGjRsnR0VHDhg2TJOXk5GjRokUaPHiwXnzxRf3222/6+OOPFRoaqu+++07t27e36tPZ2VmxsbEaNGiQuW716tXFBter/fbbb1q/fr0effRRc11sbKycnZ2LvS8uLk6urq6KjIyUq6urtm3bpokTJyonJ0czZswodRtXe/LJJ9W0aVNFR0crOTlZ77//vs6ePatPPvnE6ti1atVKAwYMUI0aNbRu3Tq98sorKiwslMVisepv5MiR8vHxUUZGhubOnavg4GAdPXpUtWrVKnZcxowZY67bvXu3fv7552L5HTlyRJ9//rmeeOIJNWvWTFlZWfrwww/Vo0cPHThwQI0aNZIkzZkzR9u2bVN4eLiSkpLk4OCgDz/8UFu2bNE//vEPMy4rK0sPPPCAfv/9d7366quqX7++lixZogEDBmjVqlVWx136f7dRXrhwQcuXL9ff/vY3eXl5afjw4WU6vkXHr+h3LyoqymbsyJEj1a1bN0lXfleu/UMfHh6uL7/8UqNHj1a7du3k4OCghQsXas+ePWXOpyTdunWzKjT/+uuvSktLk729vb766iu1bdtWkvTVV1/J09PTvLU0LS1N3bp1k5ubm8aNG6eaNWvqww8/VM+ePbVz50517tzZajuvvPKKPD09NXHiROXm5paYy+HDh9W7d295eHgoMTFRDRo0uG7+zZs3V9euXbV06VKNHTvWqm3p0qWqU6eOBg4cKOnK70CXLl3ME01PT0/985//1PDhw5WTk2P+Xpb38x4bG6uLFy9q5MiRcnJykoeHB1elA+I8gPMAzgPuhPOAxMREDR48WH369NE777wjSTp48KC++eYbvfbaa5LK/rMorf/yfF6feOIJ3X333Xr77bdlGIYef/xxWSwWLV26VPfdd59V7NKlS9WzZ0/96U9/uqljAFRGjKGMoYyhjKF3whh69uxZ9e3bV4899piefPJJrVq1SuPHj1ebNm3Ur1+/m+q7JJMnT1Z0dLRGjBihTp06KScnR99//7327Nmjhx56SJK0ZcsWhYWFKSAgQNHR0frll180dOhQmxf03bEMVCnvvfeeIcnYu3ev1foePXoYrVq1sloXGxtrSDKOHj1qGIZhXLx40WjSpInRr18/Q5IRGxtrxv7+++/FtvXpp58akoxdu3aZ6yZNmmRIMk6fPl1qjj169DAkGTNnzjTX5eXlGe3btze8vLyM/Px8wzAM49KlS0ZeXp7Ve8+ePWt4e3sbw4YNM9cdPXrUkGQMHjzYqFGjhpGZmWm29enTx3jmmWcMScaMGTOK5Tl48GDj4YcfNtf//PPPhr29vTF48OBi+1HSMXjppZeMWrVqGRcvXix1f6/e3oABA6zWv/LKK8V+XiVtJzQ01GjevLnNbaxYscKQZHz//ffmOknG448/btSoUcNq/fDhw83jYrFYzPUXL140Ll++bNXv0aNHDScnJ2Pq1KlW6zdv3mxIMt58803jyJEjhqurqzFo0CCrmDFjxhiSjK+++spc99tvvxnNmjUzmjZtam5r+/bthiRj+/btVrnY29sbr7zyis39LvK3v/3NkGScOXPGXNeqVSujR48exWL//e9/G5KMJUuWmOuKfkZFLly4YNjb2xsvvfSS1XvDw8ON2rVrlymn0qxcudKQZBw4cMAwDMP44osvDCcnJ2PAgAHGU089Zca1bdvWePTRR83XgwYNMhwdHY3Dhw+b6zIyMow6deoY3bt3N9cVfbYffPBB49KlS1bbvvozevDgQaNRo0ZGx44djV9//bVc+/Dhhx8akoyDBw+a6/Lz840GDRoY4eHh5rrhw4cbDRs2tPq5GIZhPP3004a7u7v5+17ez7ubm5tx6tSpcuUMVAecB3AewHlA5T8PeO211ww3N7diY/TVyvqzKPr9v5nP6+DBg4vFDx482GjUqJFVDnv27Cm2LaAqYQxlDGUMZQytTGNoST/bor8Bn3zyibkuLy/P8PHxMcLCwsrct2Fc+R2fNGlSsfV+fn5W/6Zv166d0b9/f5t9tW/f3mj
      "text/plain": [
       "<Figure size 1500x1000 with 4 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Устраняем выборсы\n",
    "df: DataFrame = remove_outliers(df, numeric_columns)\n",
    "\n",
    "# Проверка выбросов\n",
    "check_outliers(df, numeric_columns)\n",
    "visualize_outliers(df, numeric_columns)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Разбиение набора данных на выборки:\n",
    "\n",
    "Разделим выборку данных на 3 группы и проанализируем качество распределения данных.\n",
    "\n",
    "Стратифицированное разбиение требует, чтобы в каждом классе, по которому происходит стратификация, было минимум по два элемента, иначе метод не сможет корректно разделить данные на тренировочные, валидационные и тестовые наборы.\n",
    "\n",
    "Чтобы решить эту проблему введём категории для значения зарплаты. Вместо того, чтобы использовать точные значения зарплаты для стратификации, мы создадим категории зарплат, основываясь на квартилях (25%, 50%, 75%) и минимальном и максимальном значении зарплаты. Это позволит создать более крупные классы, что устранит проблему с редкими значениями:\n",
    "\n",
    "Категории для разбиения зарплат:\n",
    "- Низкая зарплата: зарплаты ниже первого квартиля (25%) — это значения меньше 95000.\n",
    "- Средняя зарплата: зарплаты между первым квартилем (25%) и третьим квартилем (75%) — это зарплаты от 95000 до 175000.\n",
    "- Высокая зарплата: зарплаты выше третьего квартиля (75%) и до максимального значения — это зарплаты выше 175000.\n",
    "\n",
    "Весь набор данных состоит из 3755 объектов, из которых 1867 (около 49.7%) имеют средний уровень зарплаты (medium), 956 (около 25.4%) – низкий уровень зарплаты (low), и 932 (около 24.8%) – высокий уровень зарплаты (high).\n",
    "\n",
    "Все выборки показывают одинаковое распределение классов, что свидетельствует о том, что данные были отобраны случайным образом и не содержат явного смещения.\n",
    "\n",
    "Однако, несмотря на сбалансированность при разбиении данных, в целом данные обладают значительным дисбалансом между классами. Это может быть проблемой при обучении модели, так как она может иметь тенденцию игнорировать низкие или высокие зарплаты (low или high), что следует учитывать при дальнейшем анализе и выборе методов обработки данных.\n",
    "\n",
    "Для получения более сбалансированных выборок данных необходимо воспользоваться методами приращения (аугментации) данных, а именно методами oversampling и undersampling."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "salary_in_usd\n",
      "100000.0    99\n",
      "150000.0    98\n",
      "120000.0    91\n",
      "160000.0    84\n",
      "130000.0    82\n",
      "            ..\n",
      "39916.0      1\n",
      "26005.0      1\n",
      "22611.0      1\n",
      "5679.0       1\n",
      "40038.0      1\n",
      "Name: count, Length: 1002, dtype: int64 \n",
      "\n",
      "count      3755.000000\n",
      "mean     136959.779760\n",
      "std       61098.121137\n",
      "min        5132.000000\n",
      "25%       95000.000000\n",
      "50%      135000.000000\n",
      "75%      175000.000000\n",
      "max      295000.000000\n",
      "Name: salary_in_usd, dtype: float64 \n",
      "\n",
      "salary_category\n",
      "medium    1867\n",
      "low        956\n",
      "high       932\n",
      "Name: count, dtype: int64 \n",
      "\n",
      "Обучающая выборка:  (2253, 12)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "medium    1120\n",
      "low        574\n",
      "high       559\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"medium\": 49.71%\n",
      "Процент объектов класса \"low\": 25.48%\n",
      "Процент объектов класса \"high\": 24.81%\n",
      "\n",
      "Контрольная выборка:  (751, 12)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "medium    373\n",
      "low       191\n",
      "high      187\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"medium\": 49.67%\n",
      "Процент объектов класса \"low\": 25.43%\n",
      "Процент объектов класса \"high\": 24.90%\n",
      "\n",
      "Тестовая выборка:  (751, 12)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "medium    374\n",
      "low       191\n",
      "high      186\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"medium\": 49.80%\n",
      "Процент объектов класса \"low\": 25.43%\n",
      "Процент объектов класса \"high\": 24.77%\n",
      "\n",
      "Для обучающей выборки аугментация данных требуется\n",
      "Для контрольной выборки аугментация данных требуется\n",
      "Для тестовой выборки аугментация данных требуется\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABjUAAAHmCAYAAAA7jgwGAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADHBUlEQVR4nOzdd3xTVRsH8F+S7k0HUFbL3rwgAgoiFZGpCIooKFvBFxRRXLgYDgSULbyCgmwQUYYCZSN7r7JKS1ugdO89kvP+0SY0TUfapr256e/7+fChvb25eXJzk+ee85x7rkIIIUBERERERERERERERGTmlFIHQEREREREREREREREZAwWNYiIiIiIiIiIiIiISBZY1CAiIiIiIiIiIiIiIllgUYOIiIiIiIiIiIiIiGSBRQ0iIiIiIiIiIiIiIpIFFjWIiIiIiIiIiIiIiEgWWNQgIiIiIiIiIiIiIiJZYFGDiIiIiIiIiIiIiIhkgUUNIiKqNCkpKQgNDUVaWprUoZCJJSYmIigoCLm5uVKHQkRERBWQm5uL6Oho3Lt3T+pQiIiIyIQyMzPx8OFDREdHSx2KybGoQVTN+Pr6YvTo0VKHQRZKCIEVK1bgiSeegIODA1xcXNCwYUOsX79e6tBk4cGDB/jtt990v4eGhmLDhg3SBVRATk4O5s6di//85z+wtbVFjRo10LRpUxw8eFDq0IgsBnM0kWX5+++/cfnyZd3v27dvx/Xr16ULqIA7d+7grbfegre3N2xsbFCrVi08+eSTEEJIHRqR5JiPiag0S5cuRWJiou73hQsXms1gzgMHDmDgwIFwc3ODvb096tati/fee0/qsEyuTEWN3377DQqFQvfPzs4OzZo1wzvvvIOoqKjKipHI4s2YMQO+vr4AHn3OqOKWLVum10FsKUaPHg0/Pz8A+seOORg+fDjefvtttGzZEuvWrcP+/ftx4MABvPTSS1KHJgsKhQKTJk2Cv78/QkND8fHHH+PYsWNGPbYyc3RWVhZ69eqFL7/8En5+fti6dSv279+PQ4cO4cknn6zQtonMHXN05WCOJktVMB+/8MILeOyxx9CwYUMMGTIEb731FlJSUqQOEadPn0bnzp1x6NAhfPrpp/D398f+/fuxfft2fseR2WI+rhzMx0Tls2vXLsyYMQP379/Hhg0b8OWXX8Le3l7qsLBs2TL06dMHSUlJWLRoEfbv34/9+/dj1qxZUodmclbledCsWbPQsGFDZGZm4vjx41i+fDl2796NgIAAODg4mDpGIqJyWbZsGTw9PTnKpoqsXbsWW7Zswfr16zF8+HCpw5GlunXr4q233kLfvn0BAN7e3jhy5EiZtlEZOXrOnDk4c+YM/P39dY0DIqKKYI4mSzdr1ix4eHhgxowZCA0NRWhoKBwcHNCuXTtJ48rOzsaYMWPQrFkz7Nu3D66urpLGQ0TSYj4mKp/PPvsMAwcOxKJFi6BUKvHjjz9CqZR2QqQ7d+7ggw8+wPjx47Fs2TKLL/6Wq6jRr18/PP744wCAN998Ex4eHpg/fz527NiBYcOGmTRAIjJfmZmZsLGxkfyLW+7S0tLg6OgodRgVNm/ePAwbNowFjQpauHAh3n33XcTGxqJNmzZlPjZMnaNzc3OxcOFCTJ06lQUNIhlhjjYNS8nRVPW0+XjcuHEICAjAkiVLsGbNGsnbzLt27cLt27dx69YtFjSIqgDzsWkwH5O56dGjB8LCwnDz5k3Ur18f9erVkzokLF68GLVr18bixYstvqABmOieGj179gQAhISEAADi4+Px4Ycfom3btnBycoKLiwv69euHK1euGDw2MzMTM2bMQLNmzWBnZwdvb2+89NJLCA4OBpA3n3jB6TQK/yvYwXLkyBEoFAps2bIFn332GWrXrg1HR0cMHDgQ9+/fN3juM2fOoG/fvnB1dYWDgwN69OiBEydOFPka/fz8inz+GTNmGKy7fv16dOzYEfb29nB3d8drr71W5POX9NoK0mg0WLhwIVq3bg07OzvUqlULEyZMQEJCgt56vr6+eP755w2e55133jHYZlGxz5s3z2CfAnnTjkyfPh1NmjSBra0t6tevj48//hhZWVlF7quC/Pz8DLb37bffQqlUYuPGjeXaHz/88AO6du0KDw8P2Nvbo2PHjvjjjz+KfP7169ejc+fOcHBwQI0aNfD0009j3759euvs2bMHPXr0gLOzM1xcXNCpUyeD2LZu3ap7Tz09PfHGG28gPDxcb53Ro0frxVyjRg34+fkZPXVMSc6fP48+ffrA09MT9vb2aNiwIcaOHVvu/VKQsZ9X7edr8+bN+OKLL1C3bl04ODjg8uXLUCgUWLBggcG2T548CYVCgU2bNhn9WjUaDRYtWoS2bdvCzs4OXl5e6Nu3L86fP69bZ/Xq1ejZsydq1qwJW1tbtGrVCsuXL9fbjq+vL65fv46jR48W+X2RmJiIKVOmoH79+rC1tUWTJk0wZ84caDQave3ExcVhxIgRcHFxgZubG0aNGoUrV65AoVAYXKZ76NAhdO/eHY6OjnBzc8OLL76Imzdv6q0zY8YMKBQK3LhxA8OHD0eNGjXw1FNPYfXq1VAoFLh06ZLBPvnuu++gUqkMjrmyKPwd5unpiQEDBiAgIMCox5f2GUhLS0NAQADq16+PAQMGwMXFBY6Ojgafgbt37xp9vBT1/aH9nii4769evYrRo0ejUaNGsLOzQ+3atTF27FjExcXpPVZ7mXpoaKhumb+/P7p27QoHBwe4urri+eefN9gn2vcsNjZWt+z8+fNFHgNt2rQpsuN/z549umPD2dkZAwYMMJhTe/To0brLohs3bowuXbogPj4e9vb2BnEX5ZdffgEAdOrUSe87qFatWgAe5ej69eujUaNGxX7mtZ/1I0eOIDMzE5MnT0ZCQgLmzp0LW1tbqFQqODs74/nnn4e/v3+JOVqlUuHZZ5/F6dOn9XL0888/D4VCAXt7e/j4+MDNzQ0uLi4YOXKkLrdpc7RSqYSVlZVejh4/fjzs7Ox0V7EUl6ObNm1qsJ+Zox9hjmaOZo6Wf44uy+fY2M+Kk5OTwfP88ccfutxQVMwlfTcoFAq888472LBhA5o3bw47Ozt07NgR//77r8HzXLp0Cf369YOLiwucnJx0OcSY/ab9V/C99/PzQ5s2bUrahXoxFvb8888bTFmSlpaGqVOn6o7P5s2b44cffjC4F0WnTp0wY8YM2NraomPHjnjllVcA5E3V6efnV+rnu+BrUiqVcHZ2hqurq16becOGDVAoFLrRmMX9s7Oz08X1+++/QwiB6dOno0aNGrrtN2nSBHfu3DHYBx999BGcnJx026pbty727t1r8F60adMGHTt2LLHNXPAco2A+VqlUcHd3x61bt3Tb1OY3Hx8f5uMCmI+Lx3zMfCxVPq6snBgeHo6xY8eiVq1asLW1RevWrbFq1Sq9dbTHXFHHsZOTk94VOEW1hzUaDdq1a2fwXmnPB+7evYs+ffrA0dERderUwaxZswzynbF5sXA7sW7duhg/frzefSkAIDo6GuPGjUOtWrVgZ2eH//znP1izZo3eOkW9FsDw+7Qs+wfI66945ZVX4O7uDgcHBzzxxBP4559/9NYpmMvc3Nzw5JNPol69ehgwYECReaMw7eO1/2xtbdGsWTPMnj1bb58V1Q9RWOH7/5w+fRodO3bExIkTdcdNmzZtsHLlSoPHluV9M+aY1cZb0OHDh2Fra4u3335bb7kxx7YxynWlRmHaAoSHhweAvINg+/bteOWVV9CwYUNERUXh559/Ro8ePXDjxg3UqVMHAKBWq/H888/j4MGDeO211/Dee+8hJSUF+/fvR0BAABo3bqx7jmHDhqF///56zztt2rQi4/n222+hUCjwySefIDo6GgsXLkSvXr1w+fJl3fxmhw4dQr9+/dCxY0dMnz4dSqVS96V/7NgxdO7c2WC79erVw+zZswEAqamp+O9//1vkc3/55ZcYOnQo3nzzTcTExGDJkiV4+umncenSJbi5uRk8Zvz48ejevTsA4M8//8Rff/2l9/cJEybgt99+w5gxYzB58mSEhIRg6dKluHTpEk6
      "text/plain": [
       "<Figure size 1500x500 with 3 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Вывод распределения количества наблюдений по меткам (классам)\n",
    "print(df.salary_in_usd.value_counts(), '\\n')\n",
    "\n",
    "# Статистическое описание целевого признака\n",
    "print(df['salary_in_usd'].describe().transpose(), '\\n')\n",
    "\n",
    "# Определим границы для каждой категории зарплаты\n",
    "bins: list[int] = [0, 95000, 175000, 450000]\n",
    "labels: list[str] = ['low', 'medium', 'high']\n",
    "\n",
    "# Создаем новую колонку с категориями зарплат\n",
    "df['salary_category'] = pd.cut(df['salary_in_usd'], bins=bins, labels=labels)\n",
    "\n",
    "# Вывод распределения количества наблюдений по меткам (классам)\n",
    "print(df['salary_category'].value_counts(), '\\n')\n",
    "\n",
    "df_train, df_val, df_test = split_stratified_into_train_val_test(\n",
    "   df,\n",
    "   stratify_colname=\"salary_category\", \n",
    "   frac_train=0.60, \n",
    "   frac_val=0.20, \n",
    "   frac_test=0.20\n",
    ")\n",
    "\n",
    "# Проверка сбалансированности\n",
    "check_balance(df_train, 'Обучающая выборка', 'salary_category')\n",
    "check_balance(df_val, 'Контрольная выборка', 'salary_category')\n",
    "check_balance(df_test, 'Тестовая выборка', 'salary_category')\n",
    "\n",
    "# Проверка необходимости аугментации\n",
    "print(f\"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "print(f\"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "print(f\"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "   \n",
    "# Визуализация сбалансированности классов\n",
    "visualize_balance(df_train, df_val, df_test, 'salary_category')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Приращение данных:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "После применения метода oversampling:\n",
      "Обучающая выборка:  (3360, 241)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "low       1121\n",
      "medium    1120\n",
      "high      1119\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"low\": 33.36%\n",
      "Процент объектов класса \"medium\": 33.33%\n",
      "Процент объектов класса \"high\": 33.30%\n",
      "\n",
      "Контрольная выборка:  (1119, 157)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "low       373\n",
      "medium    373\n",
      "high      373\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"low\": 33.33%\n",
      "Процент объектов класса \"medium\": 33.33%\n",
      "Процент объектов класса \"high\": 33.33%\n",
      "\n",
      "Тестовая выборка:  (1121, 162)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "medium    374\n",
      "high      374\n",
      "low       373\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"medium\": 33.36%\n",
      "Процент объектов класса \"high\": 33.36%\n",
      "Процент объектов класса \"low\": 33.27%\n",
      "\n",
      "Для обучающей выборки аугментация данных не требуется\n",
      "Для контрольной выборки аугментация данных не требуется\n",
      "Для тестовой выборки аугментация данных не требуется\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABkAAAAH/CAYAAAAPNxGJAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAADpn0lEQVR4nOzdd3gUVdsG8Hs3vQIBQmgSekcQpTcV6WAFAaVJ8VUU9cOOSBELglIFAWlSFVB6770GCCGBFEhI7z3ZbDvfH3l332x2E5KQZLbcv+vKpWyZeXZ2Zp8585xzRiaEECAiIiIiIiIiIiIiIrIicqkDICIiIiIiIiIiIiIiKm8sgBARERERERERERERkdVhAYSIiIiIiIiIiIiIiKwOCyBERERERERERERERGR1WAAhIiIiIiIiIiIiIiKrwwIIERERERERERERERFZHRZAiIiIiIiIiIiIiIjI6rAAQkREREREREREREREVocFECIiqjCZmZkIDw9Hdna21KFQOUtLS0NoaCjUarXUoRAREVE5U6vVSEhIwKNHj6QOhYiIiCqBQqFATEwMEhISpA6l3LEAQmRjfH19MX78eKnDICslhMDq1avRpUsXuLq6wtPTEw0bNsTmzZulDs0iREVFYcOGDfp/h4eHY8uWLdIFVIBKpcLPP/+Mp59+Gk5OTqhWrRqaNm2KEydOSB0akVVj3iayLvv378etW7f0/969ezfu3r0rXUAFhISEYPLkyahduzYcHR1Rq1YtdO3aFUIIqUMjMlvM00T0OMuXL0daWpr+34sXLzabTqLHjx/HsGHDULVqVbi4uKBu3br46KOPpA6r3JWqALJhwwbIZDL9n7OzM5o1a4YPPvgA8fHxFRUjkdWbPXs2fH19AfzvOKMnt2LFCoOLydZi/Pjx6NOnDwDDfcccjB49Gv/5z3/QsmVLbNq0CceOHcPx48fx2muvSR2aRZDJZJg6dSqOHDmC8PBwfP755zh37lyZl1deeTsvLw99+/bFzJkz0adPH+zYsQPHjh3DyZMn0bVr1zLHR2SpmLcrBvM22YI7d+7go48+QkhICGbOnIlXX30Vbdq0kbx9ffnyZXTq1AknT57El19+iSNHjuDYsWPYvXs3f+PI4jBPVwzmaaKy2bdvH2bPno3IyEhs2bIFM2fOhIuLi9RhYcWKFejfvz/S09OxZMkSHDt2DMeOHcPcuXOlDq3c2ZflTXPnzkXDhg2hUChw/vx5rFy5EgcPHkRAQABcXV3LO0YiojJZsWIFatSowR45leTPP//EX3/9hc2bN2P06NFSh2OR6tati8mTJ2PAgAEAgNq1a+P06dNPvNwnzdvz58/HlStXcOTIEX3jgIiovDFvky2YNGkS1q1bh2bNmukfk7p9rVQqMWHCBDRr1gxHjx5FlSpVKnydRGR5mKeJyubrr7/GsGHDsGTJEsjlcvzyyy+Qy6WdlCkkJAT/93//hylTpmDFihVWXyguUwFk4MCBePbZZwHkn8BVr14dv/76K/bs2YNRo0aVa4BEZL4UCgUcHR0l/+G2dNnZ2XBzc5M6jCe2YMECjBo1isWPJ7R48WJ8+OGHSEpKQps2bcpl33iSvK1Wq7F48WJMnz6dxQ8iC8e8XT6sJW+TNGrWrImAgAAEBATgyJEjmDFjhuTt63379uH+/fu4d+8eix9EEmKeLh/M02RuevfujYiICAQFBaF+/fqoV6+e1CFh6dKl8PHxwdKlS62++AGU0z1AXnjhBQDAw4cPAQApKSn49NNP0bZtW7i7u8PT0xMDBw7E7du3jd6rUCgwe/ZsNGvWDM7OzqhduzZee+01hIWFAcif/7zg9B2F/wpejDl9+jRkMhn++usvfP311/Dx8YGbmxuGDRuGyMhIo3VfuXIFAwYMQJUqVeDq6orevXvjwoULJj9jnz59TK5/9uzZRq/dvHkzOnbsCBcXF3h5eWHkyJEm11/cZytIq9Vi8eLFaN26NZydnVGrVi28++67SE1NNXidr68vhgwZYrSeDz74wGiZpmJfsGCB0TYF8qc+mTVrFpo0aQInJyfUr18fn3/+OfLy8kxuq4L69OljtLzvv/8ecrkcW7duLdP2WLhwIbp164bq1avDxcUFHTt2xM6dO02uf/PmzejUqRNcXV1RrVo19OrVC0ePHjV4zaFDh9C7d294eHjA09MTzz33nFFsO3bs0H+nNWrUwNtvv43o6GiD14wfP94g5mrVqqFPnz5PNH2NzvXr19G/f3/UqFEDLi4uaNiwId55550yb5eCSnq86o6v7du345tvvkHdunXh6uqKW7duQSaTYdGiRUbLvnjxImQyGbZt21biz6rVarFkyRK0bdsWzs7OqFmzJgYMGIDr16/rX7N+/Xq88MIL8Pb2hpOTE1q1aoWVK1caLMfX1xd3797FmTNnTP5epKWl4eOPP0b9+vXh5OSEJk2aYP78+dBqtQbLSU5OxpgxY+Dp6YmqVati3LhxuH37NmQymdHw35MnT6Jnz55wc3ND1apV8fLLLyMoKMjgNbNnz4ZMJkNgYCBGjx6NatWqoUePHli/fj1kMhlu3rxptE1++OEH2NnZGe1zpVH4N6xGjRoYPHgwAgICSvT+xx0D2dnZCAgIQP369TF48GB4enrCzc3N6Bh48OBBifcXU78fut+Jgtve398f48ePR6NGjeDs7AwfHx+88847SE5ONnivbvh7eHi4/rEjR46gW7ducHV1RZUqVTBkyBCjbaL7zpKSkvSPXb9+3eQ+0KZNG5NFgkOHDun3DQ8PDwwePNhovu/x48frh1s3btwYnTt3RkpKClxcXIziNsXUb9BPP/1k9DpfX1+cPXsWgOm8rVtf586dcfv2bdy/fx+pqanw8PBA79694eLiAicnJ7i7u8PJyckobx84cOCxeVv3XSxZsgQymUy/LBcXF6O8XXBeZV3ednR0hEwmw9NPP22QtwtuZzs7O+Zt5m3mbeZtm8zbpTmOS3qsuLu7G61n586dkMlk+pGKhWMu7rdBJpPhgw8+wJYtW9C8eXM4OzujY8eO+vxU0M2bNzFw4EB4enrC3d0dL774Ii5fvlyi7ab7K/jd9+nTB23atCluExrEWNiQIUOMpkfJzs7G9OnT9ftn8+bNsXDhQqN7Z+h+y52cnNCxY0fUqVMHAPDcc88ZfGdFta8Lfy5vb29MmTLFYF7xo0ePQiaToU6dOiVuX7/xxhsQQqB58+ZwcXGBo6MjnnrqKYwcOdJk+7pdu3Zo1qwZnJycUKdOHUydOhVpaWkG7Ws7Ozu4ublh7dq16Natm/638Pfffy/2u5o9ezZiYmLg6+uLZ599FllZWQZ52sXFBR4eHnB0dDTKb8zTzNMlxTzNPC1Vnq6oXBkdHY133nkHtWrVgpOTE1q3bo1169YZvEa3z5naj93d3Q1G9phqO2u1WrRr187ou9KdJzx48AD9+/eHm5sb6tSpg7lz5xrlwdLkS92fnZ0d6tata5TvACAhIQETJ05ErVq14OzsjKeffhobN240eI2pzwIY/56WZvsA+dc2hg8fDi8vL7i6uqJLly44cOCAwWt0yzx9+jSqVq2Krl27ol69ehg8eHCRbVNT79f9OTk5oVmzZvjxxx8NtpmpaxaFFb5f0eXLl9GxY0e8//77+v2mTZs2WLNmjdF7S/O9lWSf1cVb0KlTp+Dk5IT//Oc/Bo+XZN8uiTKNAClMdzJVvXp1APk7we7duzF8+HA0bNgQ8fHxWLVqFXr37o3AwED9iZ5Go8GQIUNw4sQJjBw5Eh999BEyMzNx7NgxBAQEoHHjxvp1jBo1CoMGDTJY71dffWUynu+//x4ymQxffPEFEhISsHjxYvTt2xe3bt3Sz7F28uRJDBw4EB07dsSsWbMgl8v1P/rnzp1Dp06djJZbr149/PjjjwCArKwsvPfeeybXPXPmTIwYMQKTJk1CYmIili1bhl69euHmzZuoWrWq0XumTJmCnj17AgD++ecf/PvvvwbPv/vuu9iwYQMmTJiAadOm4eHDh1i+fDlu3ryJCxcuwMHBweR2KI20tDT9ZytIq9Vi2LBhOH/+PKZ
      "text/plain": [
       "<Figure size 1500x500 with 3 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Приращение данных (oversampling)\n",
    "df_train_oversampled: DataFrame = oversample(df_train, 'salary_category')\n",
    "df_val_oversampled: DataFrame = oversample(df_val, 'salary_category')\n",
    "df_test_oversampled: DataFrame = oversample(df_test, 'salary_category')\n",
    "\n",
    "# Проверка сбалансированности\n",
    "print('После применения метода oversampling:')\n",
    "check_balance(df_train_oversampled, 'Обучающая выборка', 'salary_category')\n",
    "check_balance(df_val_oversampled, 'Контрольная выборка', 'salary_category')\n",
    "check_balance(df_test_oversampled, 'Тестовая выборка', 'salary_category')\n",
    "\n",
    "# Проверка необходимости аугментации\n",
    "print(f\"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_oversampled, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "print(f\"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_oversampled, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "print(f\"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_oversampled, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "   \n",
    "# Визуализация сбалансированности классов\n",
    "visualize_balance(df_train_oversampled, df_val_oversampled, df_test_oversampled, 'salary_category')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "После применения метода undersampling:\n",
      "Обучающая выборка:  (1677, 241)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "low       559\n",
      "medium    559\n",
      "high      559\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"low\": 33.33%\n",
      "Процент объектов класса \"medium\": 33.33%\n",
      "Процент объектов класса \"high\": 33.33%\n",
      "\n",
      "Контрольная выборка:  (561, 157)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "low       187\n",
      "medium    187\n",
      "high      187\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"low\": 33.33%\n",
      "Процент объектов класса \"medium\": 33.33%\n",
      "Процент объектов класса \"high\": 33.33%\n",
      "\n",
      "Тестовая выборка:  (558, 162)\n",
      "Распределение выборки данных по классам \"salary_category\":\n",
      " salary_category\n",
      "low       186\n",
      "medium    186\n",
      "high      186\n",
      "Name: count, dtype: int64\n",
      "Процент объектов класса \"low\": 33.33%\n",
      "Процент объектов класса \"medium\": 33.33%\n",
      "Процент объектов класса \"high\": 33.33%\n",
      "\n",
      "Для обучающей выборки аугментация данных не требуется\n",
      "Для контрольной выборки аугментация данных не требуется\n",
      "Для тестовой выборки аугментация данных не требуется\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAABjUAAAH/CAYAAAAfV19VAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAACma0lEQVR4nOzdd3xT9f7H8XfSvQsUKCB7T1FcgAhOpgO3uHDhveBVr3szXNctoLhFFFyIsgUBUZkKsvfeqwNK6W5zfn/wS2w6oPvknLyej8d9/H6GNPk0TfI67fecE4dhGIYAAAAAAAAAAAB8nNPsAQAAAAAAAAAAAEqCRQ0AAAAAAAAAAGAJLGoAAAAAAAAAAABLYFEDAAAAAAAAAABYAosaAAAAAAAAAADAEljUAAAAAAAAAAAAlsCiBgAAAAAAAAAAsAQWNQAAAAAAAAAAgCWwqAEAqDSpqanatWuX0tLSzB4FFezYsWPatm2bcnNzzR4FAACUQ25uro4cOaI9e/aYPQoAAKhAmZmZOnDggI4cOWL2KBWORQ3AzzRq1EgDBw40ewzYlGEY+vjjj3XBBRcoPDxc0dHRaty4scaPH2/2aJawb98+ffHFF57/3rVrlyZMmGDeQPnk5OTo9ddf15lnnqmQkBBVq1ZNzZs317x588weDbANGg3Yy/Tp07Vq1SrPf0+ePFnr1683b6B8tm7dqvvuu0916tRRcHCwateurc6dO8swDLNHA0xHjwGcznvvvadjx455/vvdd9/1mZ05586dq6uuukqxsbEKCwtTvXr19NBDD5k9VoUr1aLGF198IYfD4flfaGioWrRooQceeECHDx+urBkB2xs2bJgaNWok6Z/XGcpvzJgxXn8gtouBAweqR48ekryfO75gwIAB+te//qXWrVvrq6++0pw5czR37lxde+21Zo9mCQ6HQ0OGDNHs2bO1a9cuPfHEE1qwYEGJvrYyG52VlaXLLrtMzz//vHr06KGJEydqzpw5+vXXX9W5c+dy3Tbg62h05aDRsKv8Pb7yyit19tlnq3Hjxrr++ut13333KTU11ewRtXTpUp133nn69ddf9dRTT2n27NmaM2eOJk+ezHscfBY9rhz0GCibadOmadiwYdq7d68mTJig559/XmFhYWaPpTFjxqhnz55KSUnRyJEjNWfOHM2ZM0cjRowwe7QKF1iWLxoxYoQaN26szMxMLVy4UB988IFmzpypdevWKTw8vKJnBIAyGTNmjOLi4tjLpop8+eWX+u677zR+/HgNGDDA7HEsqV69errvvvvUq1cvSVKdOnX022+/leo2KqPRr732mv7880/Nnj3b88sBAJQHjYbdjRgxQjVq1NCwYcO0a9cu7dq1S+Hh4erQoYOpc2VnZ+uuu+5SixYt9MsvvygmJsbUeQCYix4DZfPMM8/oqquu0siRI+V0OvXWW2/J6TT3hEhbt27VI488okGDBmnMmDG2X/wt06JG7969dc4550iS7r33XtWoUUNvv/22pkyZoltuuaVCBwTguzIzMxUcHGz6G7fVpaWlKSIiwuwxyu2NN97QLbfcwoJGOb377rv6z3/+o8TERLVr167Uz42KbnRubq7effddPfrooyxoABZCoyuGXRqNqufu8T333KN169Zp9OjRGjdunOm/M0+bNk2bN2/Wpk2bWNAAqgA9rhj0GL6me/fu2r17tzZu3Kj69evrjDPOMHskjRo1SvHx8Ro1apTtFzSkCvpMjUsuuUSStHPnTklScnKyHnvsMbVv316RkZGKjo5W7969tXr16kJfm5mZqWHDhqlFixYKDQ1VnTp1dO2112r79u2STp5PPP/pNAr+L/8fWH777Tc5HA599913euaZZxQfH6+IiAhdddVV2rt3b6H7/vPPP9WrVy/FxMQoPDxc3bt316JFi4r8Hnv06FHk/Q8bNqzQdcePH69OnTopLCxM1atX180331zk/Z/qe8vP5XLp3XffVdu2bRUaGqratWvr/vvv19GjR72u16hRI/Xr16/Q/TzwwAOFbrOo2d94441Cj6l08rQjQ4cOVbNmzRQSEqL69evriSeeUFZWVpGPVX49evQodHsvv/yynE6nvv766zI9Hm+++aa6dOmiGjVqKCwsTJ06ddIPP/xQ5P2PHz9e5513nsLDw1WtWjVddNFF+uWXX7yu8/PPP6t79+6KiopSdHS0zj333EKzTZw40fMzjYuL02233ab9+/d7XWfgwIFeM1erVk09evQo8aljTmX58uXq2bOn4uLiFBYWpsaNG+vuu+8u8+OSX0lfr+7X17fffqvnnntO9erVU3h4uFatWiWHw6F33nmn0G0vXrxYDodD33zzTYm/V5fLpZEjR6p9+/YKDQ1VzZo11atXLy1fvtxznbFjx+qSSy5RrVq1FBISojZt2uiDDz7wup1GjRpp/fr1+v3334t8vzh27Jgefvhh1a9fXyEhIWrWrJlee+01uVwur9tJSkrS7bffrujoaMXGxurOO+/U6tWr5XA4Ch2m++uvv6pbt26KiIhQbGysrr76am3cuNHrOsOGDZPD4dCGDRs0YMAAVatWTRdeeKHGjh0rh8OhlStXFnpMXnnlFQUEBBR6zpVGwfewuLg49e3bV+vWrSvR15/uNZCWlqZ169apfv366tu3r6KjoxUREVHoNbBjx44SP1+Kev9wv0/kf+zXrFmjgQMHqkmTJgoNDVV8fLzuvvtuJSUleX2t+zD1Xbt2eS6bPXu2unTpovDwcMXExKhfv36FHhP3zywxMdFz2fLly4t8DrRr167IP/z//PPPnudGVFSU+vbtW+ic2gMHDvQcFt20aVOdf/75Sk5OVlhYWKG5i/Lpp59Kks4991yv96DatWtL+qfR9evXV5MmTYp9zbtf67/99psyMzP14IMP6ujRo3r99dcVEhKigIAARUVFqV+/fpo9e/YpGx0QEKBLL71US5cu9Wp0v3795HA4FBYWpoYNGyo2NlbR0dG64447PG1zN9rpdCowMNCr0YMGDVJoaKjnKJbiGt28efNCjzON/geNptE02vqNLs3ruKSvlcjIyEL388MPP3jaUNTMp3pvcDgceuCBBzRhwgS1bNlSoaGh6tSpk/74449C97Ny5Ur17t1b0dHRioyM9DSkJI+b+3/5f/Y9evRQu3btTvUQes1YUL9+/QqdsiQtLU2PPvqo5/nZsmVLvfnmm4U+i+Lcc8/VsGHDFBISok6dOumGG26QdPJUnT169Djt6zv/9+R0OhUVFaWYmBiv35knTJggh8Ph2RuzuP+FhoZ65vr+++9lGIaGDh2qatWqeW6/WbNm2rp1a6HH4PHHH1dkZKTnturVq6dZs2YV+lm0a9dOnTp1OuXvzPm3MfL3OCAgQNWrV9emTZs8t+nuW8OGDelxPvS4ePSYHpvV48pq4v79+3X33Xerdu3aCgkJUdu2bfX55597Xcf9nCvqeRwZGel1BE5Rvw+7XC516NCh0M/KvT2wY8cO9ezZUxEREapbt65GjBhRqHcl7WLB3xPr1aunQYMGeX0uhSQdOXJE99xzj2rXrq3Q0FCdeeaZGjdunNd1ivpepMLvp6V5fKSTf6+44YYbVL16dYWHh+uCCy7QjBkzvK6Tv2WxsbHq3LmzzjjjDPXt27fIbhTk/nr3/0JCQtSiRQu9+uqrXo9ZUX+HKKjg5/8sXbpUnTp10uDBgz3Pm3bt2umTTz4p9LWl+bmV5Dnrnje/+fPnKyQkRP/617+8Li/Jc7skynSkRkHuBYgaNWpIOvkkmDx5sm644QY1btxYhw8f1kcffaTu3btrw4YNqlu3riQpLy9P/fr107x583TzzTfroYceUmpqqubMmaN169apadOmnvu45ZZb1KdPH6/7ffrpp4uc5+WXX5bD4dCTTz6pI0eO6N1339Vll12mVatWec5v9uuvv6p3797q1KmThg4dKqfT6XnTX7Bggc4777xCt3vGGWfo1VdflSSdOHFC//73v4u87+eff1433nij7r33XiUkJGj06NG66KKLtHLlSsXGxhb6mkGDBqlbt26SpB9//FE//fST17/ff//9+uK
      "text/plain": [
       "<Figure size 1500x500 with 3 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Приращение данных (undersampling)\n",
    "df_train_undersampled: DataFrame = undersample(df_train, 'salary_category')\n",
    "df_val_undersampled: DataFrame = undersample(df_val, 'salary_category')\n",
    "df_test_undersampled: DataFrame = undersample(df_test, 'salary_category')\n",
    "\n",
    "# Проверка сбалансированности\n",
    "print('После применения метода undersampling:')\n",
    "check_balance(df_train_undersampled, 'Обучающая выборка', 'salary_category')\n",
    "check_balance(df_val_undersampled, 'Контрольная выборка', 'salary_category')\n",
    "check_balance(df_test_undersampled, 'Тестовая выборка', 'salary_category')\n",
    "\n",
    "# Проверка необходимости аугментации\n",
    "print(f\"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_undersampled, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "print(f\"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_undersampled, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "print(f\"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_undersampled, 'salary_category', 'low', 'medium') else ''}требуется\")\n",
    "   \n",
    "# Визуализация сбалансированности классов\n",
    "visualize_balance(df_train_undersampled, df_val_undersampled, df_test_undersampled, 'salary_category')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "aimenv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}