262 lines
11 KiB
Plaintext
262 lines
11 KiB
Plaintext
|
{
|
|||
|
|
"cells": [
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"# 1 Датасет: NASA - Nearest Earth Objects\n",
|
|||
|
|
"#### https://www.kaggle.com/datasets/sameepvani/nasa-nearest-earth-objects \n",
|
|||
|
|
"\n",
|
|||
|
|
"There is an infinite number of objects in the outer space. Some of them are closer than we think. Even though we might think that a distance of 70,000 Km can not potentially harm us, but at an astronomical scale, this is a very small distance and can disrupt many natural phenomena. These objects/asteroids can thus prove to be harmful. Hence, it is wise to know what is surrounding us and what can harm us amongst those. Thus, this dataset compiles the list of NASA certified asteroids that are classified as the nearest earth object.\n",
|
|||
|
|
"\n",
|
|||
|
|
"В космосе находится бесконечное количество объектов. Некоторые из них находятся ближе, чем мы думаем. Хотя мы можем думать, что расстояние в 70 000 км не может потенциально навредить нам, но в астрономических масштабах это очень малое расстояние и может нарушить многие природные явления. Таким образом, эти объекты/астероиды могут оказаться вредными. Следовательно, разумно знать, что нас окружает и что из этого может навредить нам. Таким образом, этот набор данных составляет список сертифицированных NASA астероидов, которые классифицируются как ближайшие к Земле объекты.\n",
|
|||
|
|
"\n",
|
|||
|
|
"- Из этого описания очевидно что объектами иследования являются околоземные объекты.\n",
|
|||
|
|
"- Атрибуты объектов: id, name, est_diameter_min, est_diameter_max, relative_velocity, miss_distance, orbiting_body, sentry_object, absolute_magnitude, hazardous\n",
|
|||
|
|
"- Очевидная цель этого датасета - это научиться определять опасность объекта автоматически.\n"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"execution_count": 1,
|
|||
|
|
"metadata": {},
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"name": "stdout",
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"количество колонок: 10\n",
|
|||
|
|
"колонки: id, name, est_diameter_min, est_diameter_max, relative_velocity, miss_distance, orbiting_body, sentry_object, absolute_magnitude, hazardous\n"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"source": [
|
|||
|
|
"import pandas as pd\n",
|
|||
|
|
"df = pd.read_csv(\"..//static//csv//neo_v2.csv\", sep=\",\")\n",
|
|||
|
|
"print('количество колонок: ' + str(df.columns.size)) \n",
|
|||
|
|
"print('колонки: ' + ', '.join(df.columns))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"Получение сведений о пропущенных данных\n",
|
|||
|
|
"\n",
|
|||
|
|
"Типы пропущенных данных:\n",
|
|||
|
|
"- None - представление пустых данных в Python\n",
|
|||
|
|
"- NaN - представление пустых данных в Pandas\n",
|
|||
|
|
"- '' - пустая строка"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"execution_count": 2,
|
|||
|
|
"metadata": {},
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"name": "stdout",
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"id 0\n",
|
|||
|
|
"name 0\n",
|
|||
|
|
"est_diameter_min 0\n",
|
|||
|
|
"est_diameter_max 0\n",
|
|||
|
|
"relative_velocity 0\n",
|
|||
|
|
"miss_distance 0\n",
|
|||
|
|
"orbiting_body 0\n",
|
|||
|
|
"sentry_object 0\n",
|
|||
|
|
"absolute_magnitude 0\n",
|
|||
|
|
"hazardous 0\n",
|
|||
|
|
"dtype: int64\n",
|
|||
|
|
"\n",
|
|||
|
|
"id False\n",
|
|||
|
|
"name False\n",
|
|||
|
|
"est_diameter_min False\n",
|
|||
|
|
"est_diameter_max False\n",
|
|||
|
|
"relative_velocity False\n",
|
|||
|
|
"miss_distance False\n",
|
|||
|
|
"orbiting_body False\n",
|
|||
|
|
"sentry_object False\n",
|
|||
|
|
"absolute_magnitude False\n",
|
|||
|
|
"hazardous False\n",
|
|||
|
|
"dtype: bool\n",
|
|||
|
|
"\n"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"source": [
|
|||
|
|
"# Количество пустых значений признаков\n",
|
|||
|
|
"print(df.isnull().sum())\n",
|
|||
|
|
"\n",
|
|||
|
|
"print()\n",
|
|||
|
|
"\n",
|
|||
|
|
"# Есть ли пустые значения признаков\n",
|
|||
|
|
"print(df.isnull().any())\n",
|
|||
|
|
"\n",
|
|||
|
|
"print()\n",
|
|||
|
|
"\n",
|
|||
|
|
"# Процент пустых значений признаков\n",
|
|||
|
|
"for i in df.columns:\n",
|
|||
|
|
" null_rate = df[i].isnull().sum() / len(df) * 100\n",
|
|||
|
|
" if null_rate > 0:\n",
|
|||
|
|
" print(f\"{i} процент пустых значений: %{null_rate:.2f}\")"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"Итог: пропущеных значений нет"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"инфографика на сайте и в datawrangelere показывает, что в столбцах orbiting_body и sentry_object у всех записей одно и тоже значение. Значит эти столбцы можно выкинуть из набора данных."
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"execution_count": 3,
|
|||
|
|
"metadata": {},
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"name": "stdout",
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"количество колонок: 8\n",
|
|||
|
|
"колонки: id, name, est_diameter_min, est_diameter_max, relative_velocity, miss_distance, absolute_magnitude, hazardous\n"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"source": [
|
|||
|
|
"df = df.drop(columns=['orbiting_body'])\n",
|
|||
|
|
"df = df.drop(columns=['sentry_object'])\n",
|
|||
|
|
"print('количество колонок: ' + str(df.columns.size)) \n",
|
|||
|
|
"print('колонки: ' + ', '.join(df.columns))"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"я быстро посмотрев данные зашумленности не выявил"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"поля id и name в предсказании не помогут, но я их пока выкидывать не буду"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "markdown",
|
|||
|
|
"metadata": {},
|
|||
|
|
"source": [
|
|||
|
|
"посмотрим выбросы:"
|
|||
|
|
]
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"cell_type": "code",
|
|||
|
|
"execution_count": 19,
|
|||
|
|
"metadata": {},
|
|||
|
|
"outputs": [
|
|||
|
|
{
|
|||
|
|
"name": "stdout",
|
|||
|
|
"output_type": "stream",
|
|||
|
|
"text": [
|
|||
|
|
"Колонка est_diameter_min:\n",
|
|||
|
|
" Есть выбросы: Да\n",
|
|||
|
|
" Количество выбросов: 8306\n",
|
|||
|
|
" Минимальное значение: 0.0006089126\n",
|
|||
|
|
" Максимальное значение: 37.8926498379\n",
|
|||
|
|
" 1-й квартиль (Q1): 0.0192555078\n",
|
|||
|
|
" 3-й квартиль (Q3): 0.1434019235\n",
|
|||
|
|
"\n",
|
|||
|
|
"Колонка est_diameter_max:\n",
|
|||
|
|
" Есть выбросы: Да\n",
|
|||
|
|
" Количество выбросов: 8306\n",
|
|||
|
|
" Минимальное значение: 0.00136157\n",
|
|||
|
|
" Максимальное значение: 84.7305408852\n",
|
|||
|
|
" 1-й квартиль (Q1): 0.0430566244\n",
|
|||
|
|
" 3-й квартиль (Q3): 0.320656449\n",
|
|||
|
|
"\n",
|
|||
|
|
"Колонка relative_velocity:\n",
|
|||
|
|
" Есть выбросы: Да\n",
|
|||
|
|
" Количество выбросов: 1574\n",
|
|||
|
|
" Минимальное значение: 203.34643253\n",
|
|||
|
|
" Максимальное значение: 236990.1280878666\n",
|
|||
|
|
" 1-й квартиль (Q1): 28619.02064490995\n",
|
|||
|
|
" 3-й квартиль (Q3): 62923.60463276395\n",
|
|||
|
|
"\n",
|
|||
|
|
"Колонка miss_distance:\n",
|
|||
|
|
" Есть выбросы: Нет\n",
|
|||
|
|
" Количество выбросов: 0\n",
|
|||
|
|
" Минимальное значение: 6745.532515957\n",
|
|||
|
|
" Максимальное значение: 74798651.4521972\n",
|
|||
|
|
" 1-й квартиль (Q1): 17210820.23576468\n",
|
|||
|
|
" 3-й квартиль (Q3): 56548996.45139917\n",
|
|||
|
|
"\n",
|
|||
|
|
"Колонка absolute_magnitude:\n",
|
|||
|
|
" Есть выбросы: Да\n",
|
|||
|
|
" Количество выбросов: 101\n",
|
|||
|
|
" Минимальное значение: 9.23\n",
|
|||
|
|
" Максимальное значение: 33.2\n",
|
|||
|
|
" 1-й квартиль (Q1): 21.34\n",
|
|||
|
|
" 3-й квартиль (Q3): 25.7\n",
|
|||
|
|
"\n"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"source": [
|
|||
|
|
"numeric_columns = ['est_diameter_min', 'est_diameter_max', 'relative_velocity', 'miss_distance', 'absolute_magnitude']\n",
|
|||
|
|
"for column in numeric_columns:\n",
|
|||
|
|
" if pd.api.types.is_numeric_dtype(df[column]): # Проверяем, является ли колонка числовой\n",
|
|||
|
|
" q1 = df[column].quantile(0.25) # Находим 1-й квартиль (Q1)\n",
|
|||
|
|
" q3 = df[column].quantile(0.75) # Находим 3-й квартиль (Q3)\n",
|
|||
|
|
" iqr = q3 - q1 # Вычисляем межквартильный размах (IQR)\n",
|
|||
|
|
"\n",
|
|||
|
|
" # Определяем границы для выбросов\n",
|
|||
|
|
" lower_bound = q1 - 1.5 * iqr # Нижняя граница\n",
|
|||
|
|
" upper_bound = q3 + 1.5 * iqr # Верхняя граница\n",
|
|||
|
|
"\n",
|
|||
|
|
" # Подсчитываем количество выбросов\n",
|
|||
|
|
" outliers = df[(df[column] < lower_bound) | (df[column] > upper_bound)]\n",
|
|||
|
|
" outlier_count = outliers.shape[0]\n",
|
|||
|
|
"\n",
|
|||
|
|
" print(f\"Колонка {column}:\")\n",
|
|||
|
|
" print(f\" Есть выбросы: {'Да' if outlier_count > 0 else 'Нет'}\")\n",
|
|||
|
|
" print(f\" Количество выбросов: {outlier_count}\")\n",
|
|||
|
|
" print(f\" Минимальное значение: {df[column].min()}\")\n",
|
|||
|
|
" print(f\" Максимальное значение: {df[column].max()}\")\n",
|
|||
|
|
" print(f\" 1-й квартиль (Q1): {q1}\")\n",
|
|||
|
|
" print(f\" 3-й квартиль (Q3): {q3}\\n\")\n"
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"metadata": {
|
|||
|
|
"kernelspec": {
|
|||
|
|
"display_name": "laba",
|
|||
|
|
"language": "python",
|
|||
|
|
"name": "python3"
|
|||
|
|
},
|
|||
|
|
"language_info": {
|
|||
|
|
"codemirror_mode": {
|
|||
|
|
"name": "ipython",
|
|||
|
|
"version": 3
|
|||
|
|
},
|
|||
|
|
"file_extension": ".py",
|
|||
|
|
"mimetype": "text/x-python",
|
|||
|
|
"name": "python",
|
|||
|
|
"nbconvert_exporter": "python",
|
|||
|
|
"pygments_lexer": "ipython3",
|
|||
|
|
"version": "3.12.6"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"nbformat": 4,
|
|||
|
|
"nbformat_minor": 2
|
|||
|
|
}
|