IvanAlekseev1/AIM-PIbd-31-Alekseev-I-S
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
9f11ef7515
AIM-PIbd-31-Alekseev-I-S/Lab_3/Lab3.ipynb

1184 lines
194 KiB
Plaintext
Raw Normal View History

ого, я что, доделал...
2024-10-26 00:04:43 +04:00
{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Начало лабораторной, ухх...\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Бизнес-цели:\n",
"\n",
"1. Повышение безопасности планеты от потенциальных угроз космических объектов.\n",
"2. Оптимизация исследования космических объектов для использования в коммерческих или исследовательских миссиях."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Цели технического проекта:\n",
"\n",
"Для 1-й бизнес-цели: \n",
"* сбор и подготовка данных: очистка данных от пропусков, выбросов и дубликатов. Преобразование категориальных переменных в числовые. Разделение данных на обучающую и тестовую выборки. \n",
"* разработка и обучение модели: исследование различных алгоритмов машинного обучения (линейная регрессия, деревья решений, случайный лес и т.д.). Обучение моделей на обучающей выборке. Оценка качества моделей на тестовой выборке с помощью метрик RMSE, MAE и др.\n",
"* развертывание модели: \n",
" * Создать веб-приложение или API, которое принимает параметры объекта и прогнозирует, опасен ли он для Земли.\n",
" * Модель может использоваться в системах мониторинга космических объектов для предоставления оперативных оценок и предупреждений.\n",
" * Включение автоматической системы оповещения для НАСА и других космических агентств с обновлениями по объектам, представляющим угрозу.\n",
"\n",
"Для 2-й бизнес-цели:\n",
"* сбор и подготовка данных: очистка данных от пропусков, выбросов и дубликатов. Преобразование категориальных переменных в числовые. Разделение данных на обучающую и тестовую выборки. \n",
"* разработка и обучение модели: исследование различных алгоритмов машинного обучения (линейная регрессия, деревья решений, случайный лес и т.д.). Обучение моделей на обучающей выборке. Оценка качества моделей на тестовой выборке с помощью метрик RMSE, MAE и др.\n",
"* развертывание модели:\n",
" * Разработка модели, которая позволяет астрономам и специалистам по космосу загружать данные о новых объектах и получать предсказания о расстоянии их ближайшего сближения с Землей.\n",
" * Создание системы мониторинга с графическим интерфейсом, отображающим траектории движения объектов и предполагаемые даты и расстояния их ближайших подходов.\n",
" * Реализация системы оповещений на основе пороговых значений расстояний для идентификации особо опасных сближений."
]
},
{
"cell_type": "code",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 2,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Index(['id', 'name', 'est_diameter_min', 'est_diameter_max',\n",
" 'relative_velocity', 'miss_distance', 'orbiting_body', 'sentry_object',\n",
" 'absolute_magnitude', 'hazardous'],\n",
" dtype='object')\n"
]
},
{
"data": {
"text/html": [
"<div>\n",
"<style scoped>\n",
" .dataframe tbody tr th:only-of-type {\n",
" vertical-align: middle;\n",
" }\n",
"\n",
" .dataframe tbody tr th {\n",
" vertical-align: top;\n",
" }\n",
"\n",
" .dataframe thead th {\n",
" text-align: right;\n",
" }\n",
"</style>\n",
"<table border=\"1\" class=\"dataframe\">\n",
" <thead>\n",
" <tr style=\"text-align: right;\">\n",
" <th></th>\n",
" <th>id</th>\n",
" <th>name</th>\n",
" <th>est_diameter_min</th>\n",
" <th>est_diameter_max</th>\n",
" <th>relative_velocity</th>\n",
" <th>miss_distance</th>\n",
" <th>orbiting_body</th>\n",
" <th>sentry_object</th>\n",
" <th>absolute_magnitude</th>\n",
" <th>hazardous</th>\n",
" </tr>\n",
" </thead>\n",
" <tbody>\n",
" <tr>\n",
" <th>0</th>\n",
" <td>2162635</td>\n",
" <td>162635 (2000 SS164)</td>\n",
" <td>1.198271</td>\n",
" <td>2.679415</td>\n",
" <td>13569.249224</td>\n",
" <td>5.483974e+07</td>\n",
" <td>Earth</td>\n",
" <td>False</td>\n",
" <td>16.73</td>\n",
" <td>False</td>\n",
" </tr>\n",
" <tr>\n",
" <th>1</th>\n",
" <td>2277475</td>\n",
" <td>277475 (2005 WK4)</td>\n",
" <td>0.265800</td>\n",
" <td>0.594347</td>\n",
" <td>73588.726663</td>\n",
" <td>6.143813e+07</td>\n",
" <td>Earth</td>\n",
" <td>False</td>\n",
" <td>20.00</td>\n",
" <td>True</td>\n",
" </tr>\n",
" <tr>\n",
" <th>2</th>\n",
" <td>2512244</td>\n",
" <td>512244 (2015 YE18)</td>\n",
" <td>0.722030</td>\n",
" <td>1.614507</td>\n",
" <td>114258.692129</td>\n",
" <td>4.979872e+07</td>\n",
" <td>Earth</td>\n",
" <td>False</td>\n",
" <td>17.83</td>\n",
" <td>False</td>\n",
" </tr>\n",
" <tr>\n",
" <th>3</th>\n",
" <td>3596030</td>\n",
" <td>(2012 BV13)</td>\n",
" <td>0.096506</td>\n",
" <td>0.215794</td>\n",
" <td>24764.303138</td>\n",
" <td>2.543497e+07</td>\n",
" <td>Earth</td>\n",
" <td>False</td>\n",
" <td>22.20</td>\n",
" <td>False</td>\n",
" </tr>\n",
" <tr>\n",
" <th>4</th>\n",
" <td>3667127</td>\n",
" <td>(2014 GE35)</td>\n",
" <td>0.255009</td>\n",
" <td>0.570217</td>\n",
" <td>42737.733765</td>\n",
" <td>4.627557e+07</td>\n",
" <td>Earth</td>\n",
" <td>False</td>\n",
" <td>20.09</td>\n",
" <td>True</td>\n",
" </tr>\n",
" </tbody>\n",
"</table>\n",
"</div>"
],
"text/plain": [
" id name est_diameter_min est_diameter_max \\\n",
"0 2162635 162635 (2000 SS164) 1.198271 2.679415 \n",
"1 2277475 277475 (2005 WK4) 0.265800 0.594347 \n",
"2 2512244 512244 (2015 YE18) 0.722030 1.614507 \n",
"3 3596030 (2012 BV13) 0.096506 0.215794 \n",
"4 3667127 (2014 GE35) 0.255009 0.570217 \n",
"\n",
" relative_velocity miss_distance orbiting_body sentry_object \\\n",
"0 13569.249224 5.483974e+07 Earth False \n",
"1 73588.726663 6.143813e+07 Earth False \n",
"2 114258.692129 4.979872e+07 Earth False \n",
"3 24764.303138 2.543497e+07 Earth False \n",
"4 42737.733765 4.627557e+07 Earth False \n",
"\n",
" absolute_magnitude hazardous \n",
"0 16.73 False \n",
"1 20.00 True \n",
"2 17.83 False \n",
"3 22.20 False \n",
"4 20.09 True "
]
},
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 2,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"import pandas as pd\n",
"df_subset = pd.read_csv(\".//static//csv//neo.csv\")\n",
"# Отбор первых 15000 записей\n",
"df = df_subset.head(15000)\n",
"print(df.columns)\n",
"df.head()\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Проверим датасет на пропущенные значения:"
]
},
{
"cell_type": "code",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 3,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"id 0\n",
"name 0\n",
"est_diameter_min 0\n",
"est_diameter_max 0\n",
"relative_velocity 0\n",
"miss_distance 0\n",
"orbiting_body 0\n",
"sentry_object 0\n",
"absolute_magnitude 0\n",
"hazardous 0\n",
"dtype: int64\n"
]
},
{
"data": {
"text/plain": [
"id False\n",
"name False\n",
"est_diameter_min False\n",
"est_diameter_max False\n",
"relative_velocity False\n",
"miss_distance False\n",
"orbiting_body False\n",
"sentry_object False\n",
"absolute_magnitude False\n",
"hazardous False\n",
"dtype: bool"
]
},
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 3,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"# Процент пропущенных значений признаков\n",
"for i in df.columns:\n",
" null_rate = df[i].isnull().sum() / len(df) * 100\n",
" if null_rate > 0:\n",
" print(f'{i} Процент пустых значений: %{null_rate:.2f}')\n",
"\n",
"# Проверка на пропущенные данные\n",
"print(df.isnull().sum())\n",
"\n",
"df.isnull().any()"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Фух, пропущенных значений не имеется \n",
"\n",
"Разобьём набор на 3 классических выборки: обучающую, тестовую и контрольную"
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Размер обучающей выборки: (9000, 9)\n",
"Размер контрольной выборки: (3000, 9)\n",
"Размер тестовой выборки: (3000, 9)\n"
]
}
],
"source": [
"from sklearn.model_selection import train_test_split\n",
"\n",
"# Предварительная обработка данных на всякий\n",
"# Удаление пропусков и дубликатов\n",
"df = df.dropna()\n",
"df = df.drop_duplicates()\n",
"\n",
"# Разделение данных на признаки (X) и целевую переменную (y)\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"# В данном случае, предположим, что мы хотим предсказать 'absolute_magnitude'\n",
"X = df.drop(columns=['absolute_magnitude'])\n",
"y = df['absolute_magnitude']\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n",
"# Разбиение данных на обучающую и тестовую выборки\n",
"# Сначала разделим на обучающую и тестовую\n",
"X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)\n",
"\n",
"# Затем разделим обучающую выборку на обучающую и контрольную\n",
"X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=42)\n",
"\n",
"# Проверка размеров выборок\n",
"print(\"Размер обучающей выборки:\", X_train.shape)\n",
"print(\"Размер контрольной выборки:\", X_val.shape)\n",
"print(\"Размер тестовой выборки:\", X_test.shape)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Построим несколько столбчатых диаграмм для визуализации распределения:"
]
},
{
"cell_type": "code",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 7,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"outputs": [
{
"data": {
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAkIAAAHHCAYAAABTMjf2AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAAB7v0lEQVR4nO3dd3hTdd8G8DtJk3TvkZaWtmxKC4WyCgoICLJEwAGi4ALUggoPDpQlDhR9FUUcPCqggCgCDgRkI0LZFAqUsgqF7r1n8nv/KMlDaAttaXvS5P5cVy7IOSfnfHNOcvrNb8qEEAJEREREFkgudQBEREREUmEiRERERBaLiRARERFZLCZCREREZLGYCBEREZHFYiJEREREFouJEBEREVksJkJERERksZgIERFRvRBCIDMzExcuXJA6FKpnOp0O6enpuHz5stSh1DsmQkT14KmnnoK9vX2jHvPKlSuQyWRYsWJFox7XUsyfPx8ymazRjieTyTB//vxGO159ycvLw+zZs9G2bVuoVCq4ubmhTZs2iI2NlTq0JuHff//Fnj17DM/37NmD/fv3SxfQTZKTk/HKK6/A398fKpUKHh4eCAoKQm5urtSh1SsrqQNoTCtWrMDTTz9teK5Wq9G8eXMMGjQIc+bMgZeXl4TRETWewsJCLFq0CP369UO/fv2kDqfJeP/99xEUFISHHnpI6lBMQkZGBvr27Yv4+HhMmzYNvXv3hkqlglKpREBAgNThNQnXrl3DO++8g59//hkA8OKLL2Lu3LkSRwVcvHgR9913H8rKyvDSSy+hS5cusLKygo2NDezs7KQOr15ZVCKkt2DBAgQGBqK4uBj//vsvvvrqK2zevBmnT5+Gra2t1OERNbjCwkK8/fbbAMBEqBqzZ8/GG2+8YbTs/fffx8MPP8xE6IZXX30VSUlJiIyMRIcOHaQOp0kaPXo0Fi9ejI4dOwIAwsPDMXr0aImjAqZMmQKVSoWDBw+iWbNmUofToCwyERoyZAi6du0KAHjuuefg5uaGTz75BL///jvGjRsncXREZAqsrKxgZWWRt8gaSU1NxcqVK/H1118zCboLarUaBw4cwOnTpwEAwcHBUCgUksZ07Ngx7Nq1C9u2bTP7JAhgGyEAQP/+/QEAcXFxAIDMzEzMnDkTISEhsLe3h6OjI4YMGYKTJ09Wem1xcTHmz5+PNm3awNraGt7e3hg9ejQuXboE4H/tOKp73PxrfM+ePZDJZPj555/x5ptvQqPRwM7ODg8++CCuXbtW6diHDh3CAw88ACcnJ9ja2qJv377V1i3369evyuNX1SZh1apVCAsLg42NDVxdXTF27Ngqj3+793YznU6HxYsXo0OHDrC2toaXlxemTJmCrKwso+0CAgIwfPjwSseZOnVqpX1WFftHH31U6ZwCQElJCebNm4dWrVpBrVbDz88Pr732GkpKSqo8Vzfbt28fHnnkETRv3tzw2unTp6OoqKjK7S9fvozBgwfDzs4OPj4+WLBgAYQQRtusXbsWYWFhcHBwgKOjI0JCQvDZZ59V2s8jjzwCV1dX2NraomfPnvjrr7/uGG91VV1PPfWUoariypUr8PDwAAC8/fbbVX4Wzp07h4cffhiurq6wtrZG165d8ccff9zx+LeSyWSYOnUq1q1bh6CgINjY2CA8PBzR0dEAgG+++QatWrWCtbU1+vXrhytXrhi9vjbnX38Ma2trBAcHY+PGjUbvW//eZTIZPv74YyxbtgwtW7aEWq1Gt27dcOTIEaP93dpGSCaToaCgACtXrjScs6eeeqrS+b3dPoCKz+P06dPh4eEBBwcHPPjgg7h+/XqV5y8hIQHPPPMMvLy8oFar0aFDB3z//ffVnW4jN38fFQoFmjVrhsmTJyM7O/uOry0vL8c777xjOD8BAQF48803jb4zR44cgU6nQ2lpKbp27Qpra2u4ublh3LhxiI+PN2y3fPlyyGQynDhxotJx3n//fSgUCiQkJBhivvV7vWLFCshkMqPPxu+//45hw4bBx8cHarUaLVu2xDvvvAOtVmv02qquy+LFi9GuXTuo1WpoNBpMmTIFmZmZRtv069cPwcHBRss+/vjjSnGkp6dXGXNt7nlPPfUUFAoFOnXqhE6dOmHDhg2QyWQ1qloMCAgwXGO5XA6NRoPHHnvM6Pzf/Jmvzq2f04MHD8La2hqXLl1Chw4dbnuugIrvnv5vhru7O5544gnDNdXTt6O80z2yqraPeXl5CAsLQ2BgIJKSkmp9nu+EP3cAQ9Li5uYGoOKP0G+//YZHHnkEgYGBSElJwTfffIO+ffvi7Nmz8PHxAQBotVoMHz4cO3fuxNixY/Hyyy8jLy8P27dvx+nTp9GyZUvDMcaNG4ehQ4caHXfWrFlVxvPee+9BJpPh9ddfR2pqKhYvXoyBAwciKioKNjY2AIBdu3ZhyJAhCAsLw7x58yCXy7F8+XL0798f+/btQ/fu3Svt19fXFwsXLgQA5Ofn44UXXqjy2HPmzMGjjz6K5557DmlpaViyZAn69OmDEydOwNnZudJrJk+ejHvvvRcAsGHDBmzcuNFo/ZQpUwzts1566SXExcXhiy++wIkTJ7B//34olcoqz0NtZGdnG97bzXQ6HR588EH8+++/mDx5Mtq3b4/o6Gh8+umnOH/+PH777bfb7nfdunUoLCzECy+8ADc3Nxw+fBhLlizB9evXsW7dOqNttVotHnjgAfTs2ROLFi3C1q1bMW/ePJSXl2PBggUAgO3bt2PcuHEYMGAAPvzwQwBATEwM9u/fj5dffhkAkJKSgl69eqGwsBAvvfQS3NzcsHLlSjz44IP49ddfMWrUqLs6Vx4eHvjqq6/wwgsvYNSoUYZieH3R/JkzZ9C7d280a9YMb7zxBuzs7PDLL7/goYcewvr162t9/H379uGPP/5AREQEAGDhwoUYPnw4XnvtNXz55Zd48cUXkZWVhUWLFuGZZ57Brl27DK+t6fn/66+/8NhjjyEkJAQLFy5EVlYWnn322Wp/za5ZswZ5eXmYMmUKZDIZFi1ahNGjR+Py5cvVfh5//PFHPPfcc+jevTsmT54MAEbf8Zp67rnnsGrVKjz++OPo1asXdu3ahWHDhlXaLiUlBT179jQkkx4eHtiyZQueffZZ5Obm4pVXXrnjsfTXt7y8HJGRkVi2bBmKiorw448/3jHGlStX4uGHH8Z//vMfHDp0CAsXLkRMTIzh+52RkQGg4odKWFgYPvjgA6SlpeHzzz/Hv//+ixMnTsDd3R0PP/wwIiIisHr1anTu3NnoOKtXr0a/fv1qXeqwYsUK2NvbY8aMGbC3t8euXbswd+5c5Obm4qOPPqr2de+//z7eeust9OnTBxEREYZ70aFDh3Do0CGo1epaxVGdut7zysvL8dZbb9XqWPfeey8mT54MnU6H06dPY/HixUhMTMS+ffvqHH9GRgaKi4vxwgsvoH///nj++edx6dIlLF26tNK50r/Pbt26YeHChUhJScFnn32G/fv3V/qbUZN75K3KysowZswYxMfHY//+/fD29jasq7e/LcKCLF++XAAQO3bsEGlpaeLatWti7dq1ws3NTdjY2Ijr168LIYQoLi4WWq3W6LVxcXFCrVaLBQsWGJZ9//33AoD45JNPKh1Lp9MZXgdAfPTRR5W26dChg+jbt6/h+e7duwUA0axZM5Gbm2tY/ssvvwgA4rPPPjPsu3Xr1mLw4MGG4wghRGFhoQgMDBT3339/pWP16tVLBAcHG56npaUJAGLevHmGZVeuXBEKhUK89957Rq+Njo4WVlZWlZZfuHBBABArV640LJs3b564+WO1b98+AUCsXr3a6LVbt26ttNzf318MGzasUuwRERHi1o/qrbG/9tprwtPTU4SFhRmd0x9//FHI5XKxb98+o9d//fXXAoDYv39/pePdrLCwsNKyhQsXCplMJq5evWpYNnHiRAFATJs2zbBMp9OJYcOGCZVKJdLS0oQQQrz88svC0dFRlJeXV3vMV155RQAwijkvL08EBgaKgIAAw2dT/9lavny5Ybu+ffsavf+b4/P39zc8r+r66w0YMECEhISI4uJio/f
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"text/plain": [
"<Figure size 640x480 with 1 Axes>"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAkkAAAHHCAYAAACr0swBAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAACBP0lEQVR4nO3deVxUVf8H8M+dAYZ932UVEFBwwyWt1NTcl9QWS9PKtEXbbHuszKynzOoprWzx95Tak2WpqS3ua2a47woICCLINiD7PnN+fyATI8MqcAf4vF+veencbb73cu+d75xz7jmSEEKAiIiIiPQo5A6AiIiIyBgxSSIiIiIygEkSERERkQFMkoiIiIgMYJJEREREZACTJCIiIiIDmCQRERERGcAkiYiIiMgAE7kDICIiorarpKQE2dnZMDExgaurq9zhNCuWJBE1wiOPPAJra+tW/czExERIkoTVq1e36ud2FG+99RYkSWq1z5MkCW+99VarfR61XZ9//jlycnJ075ctW4bCwkL5Aqpm9+7dmDBhAuzt7WFhYYFOnTrhueeekzusZtcuk6TVq1dDkiTdy9zcHF26dMG8efOQnp4ud3hEraaoqAhvvfUW9u/fL3cobcp7772HzZs3yx0GdXC//fYb3nrrLVy9ehVr167FwoULYWFhIXdY+OKLLzBy5Ejk5uZi+fLl2LVrF3bt2oW3335b7tCaXbuubnv77bfh7++PkpIS/PXXX/jyyy+xdetWnD9/HpaWlnKHR9TiioqKsHjxYgDAkCFD5A3GSL3xxhv417/+pTftvffew7333ot77rlHnqCIALz22muYMGECli9fDoVCgf/85z9QKOQt24iNjcX8+fMxZ84cfPHFF61aCiuHdp0kjR49Gn369AEAPP7443BycsLHH3+MLVu24MEHH5Q5OiIyBiYmJjAxade3QmqjBg8ejCtXriAqKgre3t7w8vKSOyR8+umncHd3x6efftruEySgnVa31Wbo0KEAgISEBABAdnY2XnrpJYSHh8Pa2hq2trYYPXo0zpw5U2PdkpISvPXWW+jSpQvMzc3h4eGByZMnIz4+HsA/7UZqe1X/Fb9//35IkoSffvoJr732Gtzd3WFlZYUJEybg6tWrNT77yJEjGDVqFOzs7GBpaYnBgwfj0KFDBvdxyJAhBj/fUBuI77//HhEREbCwsICjoyOmTp1q8PPr2rfqtFotli1bhm7dusHc3Bxubm544okncP36db3l/Pz8MG7cuBqfM2/evBrbNBT7hx9+WOOYAkBpaSkWLVqEwMBAqFQqeHt745VXXkFpaanBY1XdwYMHcd9998HHx0e37gsvvIDi4mKDy1++fBkjR46ElZUVPD098fbbb0MIobfMunXrEBERARsbG9ja2iI8PBzLly+vsZ377rsPjo6OsLS0xG233YY//vij3niHDBlisGTokUcegZ+fH4DKv5uLiwsAYPHixQbPhejoaNx7771wdHSEubk5+vTpg19//bXez7+ZJEmYN28e1q9fj65du8LCwgIDBgzAuXPnAABff/01AgMDYW5ujiFDhiAxMVFv/cYc/6rPMDc3R1hYGDZt2qS331X7LkkSPvroI6xcuRIBAQFQqVTo27cvjh07pre9m9skSZKEwsJCrFmzRnfMHnnkkRrHt65tAJXn4wsvvAAXFxfY2NhgwoQJSE5ONnj8UlJS8Nhjj8HNzQ0qlQrdunXDt99+W9vh1lP9elQqlejUqRPmzJmj15alrnWrnw8VFRUYM2YMHB0dcfHiRb3p77zzju44+vn54bXXXqtxbTX02q7rXln92m7svXL9+vW6e5qzszOmT5+OlJSUeo9b9Vf1c7PqvK5LVYwbNmyoMc/a2lp37lRpyDVftc39+/fD3t4eAwYMgJeXF8aOHdugNm1V61e9VCoVunTpgiVLlujdp6rOW7VaXeu2/Pz89Pbh8OHDiIiIwNNPP607X8PCwvB///d/NdYtLCzEiy++CG9vb6hUKgQHB+Ojjz6qca+sOs5r165FcHAwzM3NERERgT///FNvOUPX2b59+6BSqfDkk0/qTb+Va6q6DvXzqSqhcXJyAlB5sm7evBn33Xcf/P39kZ6ejq+//hqDBw/GxYsX4enpCQDQaDQYN24c9uzZg6lTp+K5555Dfn4+du3ahfPnzyMgIED3GQ8++CDGjBmj97kLFiwwGM+7774LSZLw6quvIiMjA8uWLcPw4cNx+vRpXb3z3r17MXr0aERERGDRokVQKBRYtWoVhg4dioMHD6Jfv341tuvl5YUlS5YAAAoKCvDUU08Z/OyFCxfi/vvvx+OPP47MzEx89tlnGDRoEE6dOgV7e/sa68yZMwd33nknAOCXX37Bpk2b9OY/8cQTWL16NR599FE8++yzSEhIwOeff45Tp07h0KFDMDU1NXgcGiMnJ0e3b9VptVpMmDABf/31F+bMmYPQ0FCcO3cOn3zyCS5dulRv+5L169ejqKgITz31FJycnHD06FF89tlnSE5Oxvr16/WW1Wg0GDVqFG677TZ88MEH2L59OxYtWoSKigpdnfyuXbvw4IMPYtiwYVi6dCkAICoqCocOHdI1bkxPT8fAgQNRVFSEZ599Fk5OTlizZg0mTJiADRs2YNKkSbd0rFxcXPDll1/iqaeewqRJkzB58mQAQPfu3QEAFy5cwO23345OnTrhX//6F6ysrPDzzz/jnnvuwcaNGxv9+QcPHsSvv/6KuXPnAgCWLFmCcePG4ZVXXsEXX3yBp59+GtevX8cHH3yAxx57DHv37tWt29Dj/8cff+CBBx5AeHg4lixZguvXr2PWrFno1KmTwZh++OEH5Ofn44knnoAkSfjggw8wefJkXL58udbz8X//+x8ef/xx9OvXD3PmzAEAvWu8oR5//HF8//33eOihhzBw4EDs3bsXY8eOrbFceno6brvtNt0XhYuLC7Zt24ZZs2YhLy8Pzz//fL2fVfX3raioQGRkJFauXIni4mL873//a3TM+/fvx65du9C1a1e96WvWrMG9996LF198EUeOHMGSJUsQFRVV4z7QENXjOnjwIFauXIlPPvkEzs7OAAA3Nze95Rtyr6y69/Tt2xdLlixBeno6li9fjkOHDtV6T6t+XVTF0ZJu5Zr/888/sXXr1kZ93muvvYbQ0FAUFxfrEk1XV1fMmjWryfuQlZWF48ePw8TEBHPnzkVAQAA2b96MOXPmICsrS1d1LYTAhAkTsG/fPsyaNQs9e/bEjh078PLLLyMlJQWffPKJ3nYPHDiAn376Cc8++yxUKhW++OILjBo1CkePHkVYWJjBWM6cOYN77rkHY8aMwYoVK3TTm+Oa0hHt0KpVqwQAsXv3bpGZmSmuXr0q1q1bJ5ycnISFhYVITk4WQghRUlIiNBqN3roJCQlCpVKJt99+Wzft22+/FQDExx9/XOOztFqtbj0A4sMPP6yxTLdu3cTgwYN17/ft2ycAiE6dOom8vDzd9J9//lkAEMuXL9dtOygoSIwcOVL3OUIIUVRUJPz9/cXdd99d47MGDhwowsLCdO8zMzMFALFo0SLdtMTERKFUKsW7776rt+65c+eEiYlJjemxsbECgFizZo1u2qJFi0T10+fgwYMCgFi7dq3eutu3b68x3dfXV4wdO7ZG7HPnzhU3n5I3x/7KK68IV1dXERERoXdM//e//wmFQiEOHjyot/5XX30lAIhDhw7V+LzqioqKakxbsmSJkCRJXLlyRTdt5syZAoB45plndNO0Wq0YO3asMDMzE5mZmUIIIZ577jlha2srKioqav3M559/XgDQizk/P1/4+/sLPz8/3blZdW6tWrVKt9zgwYP19r96fL6+vrr3hv7+VYYNGybCw8NFSUmJ3r4MHDhQBAUF1Rq3IQCESqUSCQkJumlff/21ACDc3d31zvMFCxYIAHrLNvT4h4eHCy8vL5Gfn6+btn//fgFAb7+rjpmTk5PIzs7WTd+yZYsAIH777TfdtJvPZSGEsLKyEjNnzqwR083Ht7ZtnD59WgAQTz/9tN5yDz30UI2/x6xZs4SHh4dQq9V6y06dOlXY2dkZPDb
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"text/plain": [
"<Figure size 640x480 with 1 Axes>"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"image/png": "iVBORw0KGgoAAAANSUhEUgAAAj4AAAHHCAYAAAC/R1LgAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8hTgPZAAAACXBIWXMAAA9hAAAPYQGoP6dpAACCp0lEQVR4nO3dd3xT1f8/8FeStunee5e2lEILhSLIRkCGgLJEBGWIgAounKjI8PMR11dRRJGfCjhRRAQHe8koq2wo0JYO6E73Hsn5/VGaD6EttKXtTZPX8/HIA3Jz77nvc5ObvnPuOefKhBACREREREZALnUARERERK2FiQ8REREZDSY+REREZDSY+BAREZHRYOJDRERERoOJDxERERkNJj5ERERkNJj4EBERkdEwkToAIiIikkZFRQVycnKg0Wjg6ekpdTitgi0+RK1s+vTpsLa2btV9JiYmQiaTYe3ata26X2OxePFiyGSyVtufTCbD4sWLW21/1Hg//PADEhMTtc/Xrl2LlJQU6QK6yYkTJzB58mQ4OztDqVTCw8MD48ePlzqsVsPEpx5r166FTCbTPszNzdG+fXvMmzcPGRkZUodH1GpKSkqwePFi7Nu3T+pQ2pR3330Xf/zxh9RhkEQOHDiAV199FYmJidi+fTvmzp0LuVz6P7mbN29G3759cfHiRfz3v//Fzp07sXPnTnz11VdSh9ZqeKnrDpYuXYqAgACUlZXh4MGD+PLLL/HPP//g/PnzsLS0lDo8ohZXUlKCJUuWAAAGDhwobTB66q233sLrr7+us+zdd9/FhAkTMGbMGGmCIkm9+OKLGDhwIAICAgAA8+fPh4eHh6Qx5eTk4Mknn8SwYcOwYcMGmJmZSRqPVJj43MGIESPQvXt3AMCTTz4JJycnfPzxx9i8eTMeffRRiaMjIn1gYmICExN+ndL/dOjQAfHx8Th//jycnZ0RGBgodUhYs2YNysrKsHbtWqNNegBe6mq0QYMGAQASEhIAVGfQL7/8MsLDw2FtbQ1bW1uMGDECZ86cqbVtWVkZFi9ejPbt28Pc3BweHh4YN24c4uPjAfyvH0Z9j5t/be/btw8ymQy//PIL3njjDbi7u8PKygoPPvggrl27VmvfR48exfDhw2FnZwdLS0sMGDAAhw4dqrOOAwcOrHP/dfUp+OGHHxAZGQkLCws4Ojpi0qRJde7/dnW7mUajwfLly9GpUyeYm5vDzc0Nc+bMQW5urs56/v7+GDVqVK39zJs3r1aZdcX+4Ycf1jqmAFBeXo5FixYhKCgISqUSPj4+ePXVV1FeXl7nsbrZgQMH8PDDD8PX11e77YsvvojS0tI617969SqGDRsGKysreHp6YunSpRBC6Kyzfv16REZGwsbGBra2tggPD8enn35aq5yHH34Yjo6OsLS0xL333ou///77jvEOHDiwzhac6dOnw9/fH0D1++bi4gIAWLJkSZ2fhUuXLmHChAlwdHSEubk5unfvji1bttxx/7eSyWSYN28eNmzYgI4dO8LCwgK9evXCuXPnAABfffUVgoKCYG5ujoEDB+r0nwAad/xr9mFubo6wsDBs2rRJp941dZfJZPjoo4+wevVqBAYGQqlU4p577sHx48d1yru1j49MJkNxcTHWrVunPWbTp0+vdXxvVwZQ/Xl88cUX4eLiAhsbGzz44IO4fv16nccvJSUFTzzxBNzc3KBUKtGpUyd8++239R1uHTefjwqFAl5eXpg9ezby8vIavN2dvrMac2798MMP6NGjBywtLeHg4ID+/ftjx44dAKrP/dvt8+ZjW1xcjJdeegk+Pj5QKpUICQnBRx99VOs8a2j9MzMzMXPmTLi5ucHc3BxdunTBunXrdNa5uT+dlZUVevbsicDAQMydO1fnc1CfW78rTU1N4e/vj1deeQUVFRXa9Wq6Y5w4caLesm49x48cOYKIiAi8++672mMSHByM9957DxqNRmfbqqoqvPPOO9rPvb+/P954441a71fNd/GOHTsQEREBc3NzdOzYEb///rvOejXx3nzeXrhwAQ4ODhg1ahSqqqq0y/Py8vDCCy9oYwwKCsL7779fK8am4k+URqpJUpycnABU/9H5448/8PDDDyMgIAAZGRn46quvMGDAAFy8eFHbS16tVmPUqFHYvXs3Jk2ahOeffx6FhYXYuXMnzp8/r/Nr4NFHH8UDDzygs98FCxbUGc9///tfyGQyvPbaa8jMzMTy5csxZMgQnD59GhYWFgCAPXv2YMSIEYiMjMSiRYsgl8uxZs0aDBo0CAcOHECPHj1qlevt7Y1ly5YBAIqKivD000/Xue+FCxdi4sSJePLJJ5GVlYUVK1agf//+OHXqFOzt7WttM3v2bPTr1w8A8Pvvv2PTpk06r8+ZMwdr167FjBkz8NxzzyEhIQGff/45Tp06hUOHDsHU1LTO49AYeXl52rrdTKPR4MEHH8TBgwcxe/ZshIaG4ty5c/jkk09w5cqVO/bX2LBhA0pKSvD000/DyckJx44dw4oVK3D9+nVs2LBBZ121Wo3hw4fj3nvvxQcffIBt27Zh0aJFqKqqwtKlSwEAO3fuxKOPPorBgwfj/fffBwDExMTg0KFDeP755wEAGRkZ6N27N0pKSvDcc8/ByckJ69atw4MPPojffvsNY8eOvatj5eLigi+//BJPP/00xo4di3HjxgEAOnfuDKD6i6tPnz7w8vLC66+/DisrK/z6668YM2YMNm7c2Oj9HzhwAFu2bMHcuXMBAMuWLcOoUaPw6quv4osvvsAzzzyD3NxcfPDBB3jiiSewZ88e7bYNPf5///03HnnkEYSHh2PZsmXIzc3FzJkz4eXlVWdMP/30EwoLCzFnzhzIZDJ88MEHGDduHK5evVrv5/H777/Hk08+iR49emD27NkA0KRf/E8++SR++OEHTJ48Gb1798aePXswcuTIWutlZGTg3nvv1SaPLi4u2Lp1K2bOnImCggK88MILd9xXzftbVVWFqKgorF69GqWlpfj+++/r3ebm1w4cOIDVq1fjk08+gbOzMwDAzc0NQOPOrSVLlmDx4sXo3bs3li5dCjMzMxw9ehR79uzB0KFDsXz5chQVFQGoPh/effddvPHGGwgNDQUA7cABIQQefPBB7N27FzNnzkRERAS2b9+OV155BSkpKfjkk08aVf/S0lIMHDgQcXFxmDdvHgICArBhwwZMnz4deXl52nOyLnFxcfh//+//3fE9uFnNd2V5eTm2b9+Ojz76CObm5njnnXcaVc7NsrOzcfDgQRw8eBBPPPEEIiMjsXv3bixYsACJiYlYtWqVdt0nn3wS69atw4QJE/DSSy/h6NGjWLZsGWJiYmp9b8fGxuKRRx7BU089hWnTpmHNmjV4+OGHsW3bNtx///11xnLt2jUMHz4cHTp0wK+//qptMS0pKcGAAQOQkpKCOXPmwNfXF4cPH8aCBQuQlpaG5cuXN7n+WoLqtGbNGgFA7Nq1S2RlZYlr166J9evXCycnJ2FhYSGuX78uhBCirKxMqNVqnW0TEhKEUqkUS5cu1S779ttvBQDx8ccf19qXRqPRbgdAfPjhh7XW6dSpkxgwYID2+d69ewUA4eXlJQoKCrTLf/31VwFAfPrpp9qyg4ODxbBhw7T7EUKIkpISERAQIO6///5a++rdu7cICwvTPs/KyhIAxKJFi7TLEhMThUKhEP/97391tj137pwwMTGptTw2NlYAEOvWrdMuW7Rokbj5I3jgwAEBQPz44486227btq3Wcj8/PzFy5Mhasc+dO1fc+rG+NfZXX31VuLq6isjISJ1j+v333wu5XC4OHDigs/2qVasEAHHo0KFa+7tZSUlJrWXLli0TMplMJCUlaZdNmzZNABDPPvusdplGoxEjR44UZmZmIisrSwghxPPPPy9sbW1FVVVVvft84YUXBACdmAsLC0VAQIDw9/fXfjZrPltr1qzRrjdgwACd+t8cn5+fn/Z5Xe9/jcGDB4vw8HBRVlamU5fevXuL4ODgeuOuCwChVCpFQkKCdtlXX30lAAh3d3edz/mCBQsEAJ11G3r8w8PDhbe3tygsLNQu27dvnwC
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"text/plain": [
"<Figure size 640x480 with 1 Axes>"
]
},
"metadata": {},
"output_type": "display_data"
}
],
"source": [
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"# Создание DataFrame для обучающей, контрольной и тестовой выборок\n",
"train_data = pd.DataFrame({'absolute_magnitude': y_train})\n",
"val_data = pd.DataFrame({'absolute_magnitude': y_val})\n",
"test_data = pd.DataFrame({'absolute_magnitude': y_test})\n",
"\n",
"# Гистограмма распределения absolute_magnitude в обучающей выборке\n",
"sns.histplot(train_data['absolute_magnitude'], kde=True)\n",
"plt.title('Распределение absolute_magnitude в обучающей выборке')\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"plt.show()\n",
"\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"# Гистограмма распределения absolute_magnitude в контрольной выборке\n",
"sns.histplot(val_data['absolute_magnitude'], kde=True)\n",
"plt.title('Распределение absolute_magnitude в контрольной выборке')\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"plt.show()\n",
"\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"# Гистограмма распределения absolute_magnitude в тестовой выборке\n",
"sns.histplot(test_data['absolute_magnitude'], kde=True)\n",
"plt.title('Распределение absolute_magnitude в тестовой выборке')\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"plt.show()"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Конструирование признаков\n",
"\n",
"Задача 1: оценить безопасность планеты относительно потенциальных угроз космических объектов. Цель технического проекта: определить объекты с наиболее высоким риском столкновения на основе их ближайших приближений к Земле.\n",
"\n",
"Задача 2: оценить возможную оптимизацию исследования космических объектов для использования в коммерческих или исследовательских миссиях. Цель технического проекта: использование системы приоритезации для определения наиболее перспективных объектов для дальнейшего исследования или использования.\n",
"\n",
"**Унитарное кодирование**\n",
"\n",
"Унитарное кодирование категориальных признаков (one-hot encoding). Преобразуем категориальные признаки в бинарные векторы.\n",
"\n"
]
},
{
"cell_type": "code",
"execution_count": 12,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
" id name est_diameter_min est_diameter_max \\\n",
"0 2162635 162635 (2000 SS164) 1.198271 2.679415 \n",
"1 2277475 277475 (2005 WK4) 0.265800 0.594347 \n",
"2 2512244 512244 (2015 YE18) 0.722030 1.614507 \n",
"3 3596030 (2012 BV13) 0.096506 0.215794 \n",
"4 3667127 (2014 GE35) 0.255009 0.570217 \n",
"\n",
" relative_velocity miss_distance absolute_magnitude hazardous \\\n",
"0 13569.249224 5.483974e+07 16.73 False \n",
"1 73588.726663 6.143813e+07 20.00 True \n",
"2 114258.692129 4.979872e+07 17.83 False \n",
"3 24764.303138 2.543497e+07 22.20 False \n",
"4 42737.733765 4.627557e+07 20.09 True \n",
"\n",
" orbiting_body_Earth sentry_object_False \n",
"0 True True \n",
"1 True True \n",
"2 True True \n",
"3 True True \n",
"4 True True \n"
]
}
],
"source": [
"from sklearn.preprocessing import OneHotEncoder\n",
"\n",
"# Загрузка данных\n",
"df = pd.read_csv(\".//static//csv//neo.csv\")\n",
"\n",
"# Выбор категориальных признаков, которые нужно закодировать\n",
"categorical_columns = ['orbiting_body', 'sentry_object']\n",
"\n",
"# Применение one-hot encoding с использованием pandas get_dummies()\n",
"df_encoded = pd.get_dummies(df, columns=categorical_columns)\n",
"\n",
"# Проверка результата\n",
"print(df_encoded.head())"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**Дискретизация числовых признаков**\n",
"\n",
"Процесс преобразования непрерывных числовых значений в дискретные категории или интервалы (бины). Используем переменные, отвечающие за растояние объекта от Земли(miss_distance) и абсолютную звёздную величину объекта, которая отражает его яркость(absolute_magnitude)"
]
},
{
"cell_type": "code",
"execution_count": 13,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
" miss_distance miss_distance_binned\n",
"0 5.483974e+07 (44881889.084, 59840270.268]\n",
"1 6.143813e+07 (59840270.268, 74798651.452]\n",
"2 4.979872e+07 (44881889.084, 59840270.268]\n",
"3 2.543497e+07 (14965126.716, 29923507.9]\n",
"4 4.627557e+07 (44881889.084, 59840270.268]\n",
" absolute_magnitude absolute_magnitude_binned\n",
"0 16.73 (9.229000000000001, 21.34]\n",
"1 20.00 (9.229000000000001, 21.34]\n",
"2 17.83 (9.229000000000001, 21.34]\n",
"3 22.20 (21.34, 23.7]\n",
"4 20.09 (9.229000000000001, 21.34]\n"
]
}
],
"source": [
"import pandas as pd\n",
"\n",
"# Пример: дискретизация признака 'miss_distance' на 5 равных интервалов\n",
"df['miss_distance_binned'] = pd.cut(df['miss_distance'], bins=5)\n",
"\n",
"# Пример: дискретизация признака 'absolute_magnitude' на квантильные интервалы (4 квантиля)\n",
"df['absolute_magnitude_binned'] = pd.qcut(df['absolute_magnitude'], q=4)\n",
"\n",
"# Проверка результата\n",
"print(df[['miss_distance', 'miss_distance_binned']].head())\n",
"print(df[['absolute_magnitude', 'absolute_magnitude_binned']].head())"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**Ручной синтез**\n",
"\n",
"Создание новых признаков на основе экспертных знаний и логики предметной области. В нашем случае можно задействовать расстояния объекта от Земли и скорость движения объекта, синтезировав новый признак - \"скорость в сравнении с расстоянием\". Этот признак показывает, что объект может быть более опасным, если его скорость велика, а расстояние до Земли — маленькое."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"# Создание нового признака 'Speed VS Distance'\n",
"df['high_risk'] = ((df['miss_distance'] < threshold_distance) & (df['relative_velocity'] > threshold_velocity)).astype(int)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**Масштабирование признаков**\n",
"\n",
"Процесс преобразования числовых признаков таким образом, чтобы они имели одинаковый масштаб. Это важно для многих алгоритмов машинного обучения, которые чувствительны к масштабу признаков, таких как линейная регрессия, метод опорных векторов (SVM) и нейронные сети."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"from sklearn.preprocessing import StandardScaler, MinMaxScaler\n",
"\n",
"# Пример масштабирования числовых признаков\n",
"numerical_features = ['miss_distance', 'absolute_magnitude']\n",
"\n",
"scaler = StandardScaler()\n",
"train_data_encoded[numerical_features] = scaler.fit_transform(train_data_encoded[numerical_features])\n",
"val_data_encoded[numerical_features] = scaler.transform(val_data_encoded[numerical_features])\n",
"test_data_encoded[numerical_features] = scaler.transform(test_data_encoded[numerical_features])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Конструирование признаков с применением фреймворка Featuretools"
]
},
{
"cell_type": "code",
"execution_count": 16,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Collecting featuretools\n",
" Downloading featuretools-1.31.0-py3-none-any.whl.metadata (15 kB)\n",
"Collecting cloudpickle>=1.5.0 (from featuretools)\n",
" Downloading cloudpickle-3.1.0-py3-none-any.whl.metadata (7.0 kB)\n",
"Collecting holidays>=0.17 (from featuretools)\n",
" Downloading holidays-0.59-py3-none-any.whl.metadata (25 kB)\n",
"Requirement already satisfied: numpy>=1.25.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from featuretools) (2.1.2)\n",
"Requirement already satisfied: packaging>=20.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from featuretools) (24.1)\n",
"Requirement already satisfied: pandas>=2.0.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from featuretools) (2.2.3)\n",
"Requirement already satisfied: psutil>=5.7.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from featuretools) (6.0.0)\n",
"Requirement already satisfied: scipy>=1.10.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from featuretools) (1.14.1)\n",
"Collecting tqdm>=4.66.3 (from featuretools)\n",
" Downloading tqdm-4.66.5-py3-none-any.whl.metadata (57 kB)\n",
"Collecting woodwork>=0.28.0 (from featuretools)\n",
" Downloading woodwork-0.31.0-py3-none-any.whl.metadata (10 kB)\n",
"Requirement already satisfied: python-dateutil in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from holidays>=0.17->featuretools) (2.9.0.post0)\n",
"Requirement already satisfied: pytz>=2020.1 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from pandas>=2.0.0->featuretools) (2024.2)\n",
"Requirement already satisfied: tzdata>=2022.7 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from pandas>=2.0.0->featuretools) (2024.2)\n",
"Requirement already satisfied: colorama in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from tqdm>=4.66.3->featuretools) (0.4.6)\n",
"Requirement already satisfied: scikit-learn>=1.1.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from woodwork>=0.28.0->featuretools) (1.5.2)\n",
"Collecting importlib-resources>=5.10.0 (from woodwork>=0.28.0->featuretools)\n",
" Downloading importlib_resources-6.4.5-py3-none-any.whl.metadata (4.0 kB)\n",
"Requirement already satisfied: six>=1.5 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from python-dateutil->holidays>=0.17->featuretools) (1.16.0)\n",
"Requirement already satisfied: joblib>=1.2.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from scikit-learn>=1.1.0->woodwork>=0.28.0->featuretools) (1.4.2)\n",
"Requirement already satisfied: threadpoolctl>=3.1.0 in c:\\users\\admin\\studioprojects\\aim-pibd-31-alekseev-i-s\\aimenv\\lib\\site-packages (from scikit-learn>=1.1.0->woodwork>=0.28.0->featuretools) (3.5.0)\n",
"Downloading featuretools-1.31.0-py3-none-any.whl (587 kB)\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ---------------------------------------- 0.0/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ----------------- ---------------------- 262.1/587.9 kB ? eta -:--:--\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" ---------------------------------- ---- 524.3/587.9 kB 50.4 kB/s eta 0:00:02\n",
" --------------------------------------- 587.9/587.9 kB 47.1 kB/s eta 0:00:00\n",
"Downloading cloudpickle-3.1.0-py3-none-any.whl (22 kB)\n",
"Downloading holidays-0.59-py3-none-any.whl (1.1 MB)\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" --------- ------------------------------ 0.3/1.1 MB ? eta -:--:--\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ------------------ --------------------- 0.5/1.1 MB 80.7 kB/s eta 0:00:08\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ---------------------------- ----------- 0.8/1.1 MB 73.9 kB/s eta 0:00:05\n",
" ------------------------------------- -- 1.0/1.1 MB 71.3 kB/s eta 0:00:01\n",
" ------------------------------------- -- 1.0/1.1 MB 71.3 kB/s eta 0:00:01\n",
" ------------------------------------- -- 1.0/1.1 MB 71.3 kB/s eta 0:00:01\n",
" ------------------------------------- -- 1.0/1.1 MB 71.3 kB/s eta 0:00:01\n",
" ---------------------------------------- 1.1/1.1 MB 71.6 kB/s eta 0:00:00\n",
"Downloading tqdm-4.66.5-py3-none-any.whl (78 kB)\n",
"Downloading woodwork-0.31.0-py3-none-any.whl (215 kB)\n",
"Downloading importlib_resources-6.4.5-py3-none-any.whl (36 kB)\n",
"Installing collected packages: tqdm, importlib-resources, cloudpickle, holidays, woodwork, featuretools\n",
"Successfully installed cloudpickle-3.1.0 featuretools-1.31.0 holidays-0.59 importlib-resources-6.4.5 tqdm-4.66.5 woodwork-0.31.0\n",
"Note: you may need to restart the kernel to use updated packages.\n"
]
}
],
"source": [
"pip install --upgrade featuretools"
]
},
{
"cell_type": "code",
"execution_count": 19,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Collecting setuptoolsNote: you may need to restart the kernel to use updated packages.\n",
"\n",
" Downloading setuptools-75.2.0-py3-none-any.whl.metadata (6.9 kB)\n",
"Downloading setuptools-75.2.0-py3-none-any.whl (1.2 MB)\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" ---------------------------------------- 0.0/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" -------- ------------------------------- 0.3/1.2 MB ? eta -:--:--\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ---------------- ----------------------- 0.5/1.2 MB 98.1 kB/s eta 0:00:08\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" ------------------------- -------------- 0.8/1.2 MB 126.2 kB/s eta 0:00:04\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" --------------------------------- ------ 1.0/1.2 MB 126.8 kB/s eta 0:00:02\n",
" ---------------------------------------- 1.2/1.2 MB 130.3 kB/s eta 0:00:00\n",
"Installing collected packages: setuptools\n",
"Successfully installed setuptools-75.2.0\n"
]
}
],
"source": [
"pip install --upgrade setuptools"
]
},
{
"cell_type": "code",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 8,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"c:\\Users\\Admin\\StudioProjects\\AIM-PIbd-31-Alekseev-I-S\\aimenv\\Lib\\site-packages\\woodwork\\type_sys\\utils.py:33: UserWarning: Could not infer format, so each element will be parsed individually, falling back to `dateutil`. To ensure parsing is consistent and as-expected, please specify a format.\n",
" pd.to_datetime(\n",
"c:\\Users\\Admin\\StudioProjects\\AIM-PIbd-31-Alekseev-I-S\\aimenv\\Lib\\site-packages\\woodwork\\type_sys\\utils.py:33: UserWarning: Could not infer format, so each element will be parsed individually, falling back to `dateutil`. To ensure parsing is consistent and as-expected, please specify a format.\n",
" pd.to_datetime(\n"
]
},
{
"name": "stdout",
"output_type": "stream",
"text": [
" est_diameter_min est_diameter_max relative_velocity miss_distance \\\n",
"id \n",
"1 1.198271 2.679415 13569.249224 5.483974e+07 \n",
"2 0.265800 0.594347 73588.726663 6.143813e+07 \n",
"3 0.722030 1.614507 114258.692129 4.979872e+07 \n",
"4 0.096506 0.215794 24764.303138 2.543497e+07 \n",
"5 0.255009 0.570217 42737.733765 4.627557e+07 \n",
"\n",
" orbiting_body sentry_object absolute_magnitude hazardous \n",
"id \n",
"1 Earth False 16.73 False \n",
"2 Earth False 20.00 True \n",
"3 Earth False 17.83 False \n",
"4 Earth False 22.20 False \n",
"5 Earth False 20.09 True \n",
" est_diameter_min est_diameter_max relative_velocity miss_distance \\\n",
"id \n",
"17465 0.265800 0.594347 6639.199305 7.248720e+07 \n",
"10057 0.023150 0.051765 66065.475247 2.182677e+07 \n",
"6905 0.148784 0.332690 35092.567329 6.261058e+07 \n",
"40989 0.007321 0.016370 24301.494107 2.765938e+06 \n",
"23499 0.044112 0.098637 33502.608133 7.025798e+07 \n",
"\n",
" orbiting_body sentry_object absolute_magnitude hazardous \n",
"id \n",
"17465 Earth False 20.00 False \n",
"10057 Earth False 25.30 False \n",
"6905 Earth False 21.26 False \n",
"40989 Earth False 27.80 False \n",
"23499 Earth False 23.90 False \n",
" est_diameter_min est_diameter_max relative_velocity miss_distance \\\n",
"id \n",
"66148 0.020163 0.045086 24899.946486 7.427192e+06 \n",
"68694 0.175612 0.392681 67322.863166 3.526971e+07 \n",
"17013 0.031809 0.071128 20216.336390 5.832689e+07 \n",
"69199 0.007321 0.016370 40616.528788 2.591562e+07 \n",
"45632 0.199781 0.446725 86281.198262 6.763452e+07 \n",
"\n",
" orbiting_body sentry_object absolute_magnitude hazardous \n",
"id \n",
"66148 Earth False 25.60 False \n",
"68694 Earth False 20.90 True \n",
"17013 Earth False 24.61 False \n",
"69199 Earth False 27.80 False \n",
"45632 Earth False 20.62 True \n"
]
}
],
"source": [
"import pandas as pd\n",
"import featuretools as ft\n",
"from sklearn.model_selection import train_test_split\n",
"\n",
"# Загрузка данных\n",
"df = pd.read_csv(\".//static//csv//neo.csv\")\n",
"\n",
"# Создание уникального идентификатора для каждой строки\n",
"df['id'] = range(1, len(df) + 1)\n",
"\n",
"# Предобработка данных (например, кодирование категориальных признаков, удаление дубликатов)\n",
"# Удаление дубликатов по всем столбцам\n",
"df = df.drop_duplicates()\n",
"\n",
"# Создание EntitySet\n",
"es = ft.EntitySet(id='objects_data')\n",
"\n",
"# Добавление датафрейма с объектами\n",
"es = es.add_dataframe(\n",
" dataframe_name='objects',\n",
" dataframe=df,\n",
" index='id'\n",
")\n",
"\n",
"# Генерация признаков с помощью глубокой синтезы признаков\n",
"feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name='objects', max_depth=1)\n",
"\n",
"# Выводим первые 5 строк сгенерированного набора признаков\n",
"print(feature_matrix.head())\n",
"\n",
"# Разделение данных на обучающую и тестовую выборки\n",
"train_data, test_data = train_test_split(df, test_size=0.3, random_state=42)\n",
"\n",
"# Разделение оставшейся части на валидационную и тестовую выборки\n",
"val_data, test_data = train_test_split(test_data, test_size=0.5, random_state=42)\n",
"\n",
"# Преобразование признаков для контрольной и тестовой выборок\n",
"val_feature_matrix = ft.calculate_feature_matrix(features=feature_defs, entityset=es, instance_ids=val_data['id'])\n",
"test_feature_matrix = ft.calculate_feature_matrix(features=feature_defs, entityset=es, instance_ids=test_data['id'])\n",
"\n",
"# Вывод первых 5 строк сгенерированных признаков для валидационной и тестовой выборок\n",
"print(val_feature_matrix.head())\n",
"print(test_feature_matrix.head())"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Оценка качества каждого набора признаков\n",
"\n",
"Представим основные оценки качества наборов признаков: \n",
"\n",
"* Предсказательная способность Метрики: RMSE, MAE, R²\n",
"\n",
" Методы: Обучение модели на обучающей выборке и оценка на контрольной и тестовой выборках.\n",
"\n",
"* Скорость вычисления \n",
"\n",
" Методы: Измерение времени выполнения генерации признаков и обучения модели.\n",
"\n",
"* Надежность \n",
"\n",
" Методы: Кросс-валидация, анализ чувствительности модели к изменениям в данных.\n",
"\n",
"* Корреляция \n",
"\n",
" Методы: Анализ корреляционной матрицы признаков, удаление мультиколлинеарных признаков.\n",
"\n",
"* Цельность \n",
"\n",
" Методы: Проверка логической связи между признаками и целевой переменной, интерпретация результатов модели."
]
},
{
"cell_type": "code",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 9,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"Время обучения модели: 0.04 секунд\n",
"Среднеквадратичная ошибка: 5.08\n"
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
]
}
],
"source": [
"import time\n",
"from sklearn.model_selection import train_test_split\n",
"from sklearn.linear_model import LinearRegression\n",
"from sklearn.metrics import mean_squared_error\n",
"\n",
"# Разделение данных на обучающую и валидационную выборки. Удаляем целевую переменную\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"X = feature_matrix.drop('absolute_magnitude', axis=1)\n",
"y = feature_matrix['absolute_magnitude']\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n",
"# One-hot encoding для категориальных переменных (преобразование категориальных объектов в числовые)\n",
"X = pd.get_dummies(X, drop_first=True)\n",
"\n",
"# Проверяем, есть ли пропущенные значения, и заполняем их медианой или другим подходящим значением\n",
"X.fillna(X.median(), inplace=True)\n",
"\n",
"X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)\n",
"\n",
"# Обучение модели\n",
"model = LinearRegression()\n",
"\n",
"# Начинаем отсчет времени\n",
"start_time = time.time()\n",
"model.fit(X_train, y_train)\n",
"\n",
"# Время обучения модели\n",
"train_time = time.time() - start_time\n",
"\n",
"# Предсказания и оценка модели и вычисляем среднеквадратичную ошибку\n",
"predictions = model.predict(X_val)\n",
"mse = mean_squared_error(y_val, predictions)\n",
"\n",
"print(f'Время обучения модели: {train_time:.2f} секунд')\n",
"print(f'Среднеквадратичная ошибка: {mse:.2f}')"
]
},
{
"cell_type": "code",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"execution_count": 10,
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"metadata": {},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"c:\\Users\\Admin\\StudioProjects\\AIM-PIbd-31-Alekseev-I-S\\aimenv\\Lib\\site-packages\\sklearn\\metrics\\_regression.py:492: FutureWarning: 'squared' is deprecated in version 1.4 and will be removed in 1.6. To calculate the root mean squared error, use the function'root_mean_squared_error'.\n",
" warnings.warn(\n"
]
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"RMSE: 0.007747870644321186\n",
"R²: 0.9999928256622078\n",
"MAE: 0.00013519980189125583 \n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"Кросс-валидация RMSE: 0.010153168491376482 \n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"Train RMSE: 0.004358914935336195\n",
"Train R²: 0.999997732046293\n",
"Train MAE: 4.508435629289199e-05\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n"
]
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"c:\\Users\\Admin\\StudioProjects\\AIM-PIbd-31-Alekseev-I-S\\aimenv\\Lib\\site-packages\\sklearn\\metrics\\_regression.py:492: FutureWarning: 'squared' is deprecated in version 1.4 and will be removed in 1.6. To calculate the root mean squared error, use the function'root_mean_squared_error'.\n",
" warnings.warn(\n"
]
}
],
"source": [
"from sklearn.ensemble import RandomForestRegressor\n",
"from sklearn.metrics import r2_score, mean_absolute_error\n",
"from sklearn.model_selection import cross_val_score\n",
"\n",
"\n",
"# Удаление строк с NaN\n",
"feature_matrix = feature_matrix.dropna()\n",
"val_feature_matrix = val_feature_matrix.dropna()\n",
"test_feature_matrix = test_feature_matrix.dropna()\n",
"\n",
"# Разделение данных на обучающую и тестовую выборки\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"X_train = feature_matrix.drop('absolute_magnitude', axis=1)\n",
"y_train = feature_matrix['absolute_magnitude']\n",
"X_val = val_feature_matrix.drop('absolute_magnitude', axis=1)\n",
"y_val = val_feature_matrix['absolute_magnitude']\n",
"X_test = test_feature_matrix.drop('absolute_magnitude', axis=1)\n",
"y_test = test_feature_matrix['absolute_magnitude']\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n",
"X_test = X_test.reindex(columns=X_train.columns, fill_value=0) \n",
"\n",
"# Кодирования категориальных переменных с использованием одноразового кодирования\n",
"X = pd.get_dummies(X, drop_first=True)\n",
"\n",
"# Разобьём тренировочный тест и примерку модели\n",
"X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)\n",
"\n",
"# Выбор модели\n",
"model = RandomForestRegressor(random_state=42)\n",
"\n",
"# Обучение модели\n",
"model.fit(X_train, y_train)\n",
"\n",
"# Предсказание и оценка\n",
"y_pred = model.predict(X_test)\n",
"\n",
"rmse = mean_squared_error(y_test, y_pred, squared=False)\n",
"r2 = r2_score(y_test, y_pred)\n",
"mae = mean_absolute_error(y_test, y_pred)\n",
"\n",
"print()\n",
"print(f\"RMSE: {rmse}\")\n",
"print(f\"R²: {r2}\")\n",
"print(f\"MAE: {mae} \\n\")\n",
"\n",
"# Кросс-валидация\n",
"scores = cross_val_score(model, X_train, y_train, cv=5, scoring='neg_mean_squared_error')\n",
"rmse_cv = (-scores.mean())**0.5\n",
"print(f\"Кросс-валидация RMSE: {rmse_cv} \\n\")\n",
"\n",
"# Анализ важности признаков\n",
"feature_importances = model.feature_importances_\n",
"feature_names = X_train.columns\n",
"\n",
"# Проверка на переобучение\n",
"y_train_pred = model.predict(X_train)\n",
"\n",
"rmse_train = mean_squared_error(y_train, y_train_pred, squared=False)\n",
"r2_train = r2_score(y_train, y_train_pred)\n",
"mae_train = mean_absolute_error(y_train, y_train_pred)\n",
"\n",
"print(f\"Train RMSE: {rmse_train}\")\n",
"print(f\"Train R²: {r2_train}\")\n",
"print(f\"Train MAE: {mae_train}\")\n",
"print()"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"#### Выводы:\n",
"\n",
"Выбранная модель, а именно Модель случайного леса, показала неплохие результаты прогнозирования потенциальной опасности различных объектов. Метрики качества и кросс-валидация позволяют предположить, что модель не сильно переобучена и может быть использована для практических целей.\n",
"\n",
изменил целевую переменную
2024-10-26 09:27:39 +04:00
"* Точность предсказаний: Модель демонстрирует довольно неплохой(хотя мог бы быть и получше) R² (0.9999) на обучающей выборке и R² (0.9999), что указывает на приемлемую точность предсказания модели. Значения RMSE и MAE не высоки (0.00435 и 4.5084), что свидетельствует о том, что модель достаточно точно предсказывает значения, но есть и небольшой процент ошибок на тестовой.\n",
ого, я что, доделал...
2024-10-26 00:04:43 +04:00
"\n",
"* Переобучение: Разница между RMSE на обучающей и тестовой выборках незначительна, что указывает на то, что модель не склонна к переобучению. Однако в будущем стоит следить за этой метрикой при добавлении новых признаков или усложнении модели, чтобы избежать излишней подгонки под тренировочные данные. Также стоит быть осторожным и продолжать мониторинг этого показателя. R² на обучающей выборке ниже, чем на тестовой - еще один признак того, что модель не склонна к прееобучению\n",
"\n",
"* Кросс-валидация: При кросс-валидации наблюдается небольшое увеличение ошибки RMSE по сравнению с тестовой выборкой (рост на 2-3%). Это может указывать на небольшую нестабильность модели при использовании разных подвыборок данных."
]
}
],
"metadata": {
"kernelspec": {
"display_name": "aimenv",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.12.6"
}
},
"nbformat": 4,
"nbformat_minor": 2
}
Reference in New Issue Copy Permalink