1.3 MiB
Датасет №1: Объекты вокруг Земли.¶
Описание датасета:¶
Данный набор данных представляет собой коллекцию сведений о ближайших к Земле объектах (астероидах), сертифицированных NASA. Он содержит данные, которые могут помочь идентифицировать потенциально опасные астероиды, которые могут оказать влияние на Землю или на космические миссии. Набор данных включает в себя такие ключевые характеристики астероидов, как их размер, скорость, расстояние до Земли и информация о возможной опасности столкновения.
Анализ сведений:¶
Проблемная область: Основной проблемной областью является отслеживание и оценка рисков, связанных с приближением астероидов к Земле. С помощью данных о движении и характеристиках астероидов можно предсказать возможные столкновения и минимизировать угрозу для Земли, планируя превентивные действия.
Актуальность: Набор данных высокоактуален для задач оценки рисков от космических объектов, мониторинга космического пространства и разработки превентивных мер по защите Земли. Также он важен для научных исследований в области астрономии и планетарной безопасности.
Объекты наблюдения: Объектами наблюдения в данном наборе данных являются астероиды, классифицированные NASA как "ближайшие к Земле объекты" (Near-Earth Objects, NEO). Эти объекты могут проходить в непосредственной близости от Земли, что потенциально представляет опасность.
Атрибуты объектов:
- id: Уникальный идентификатор астероида.
- name: Название, присвоенное астероиду NASA.
- est_diameter_min: Минимальный оценочные диаметры астероида в километрах.
- est_diameter_max: Максимальный оценочные диаметры астероида в километрах.
- relative_velocity: Скорость астероида относительно Земли (в км/с).
- miss_distance: Расстояние, на котором астероид пролетел мимо Земли, в километрах.
- orbiting_body: Планета, вокруг которой вращается астероид.
- sentry_object: Признак, указывающий на наличие астероида в системе автоматического мониторинга столкновений (система Sentry).
- absolute_magnitude: Абсолютная величина, описывающая яркость объекта.
- hazardous: Булев признак, указывающий, является ли астероид потенциально опасным.
Связь между объектами: В данном наборе данных отсутствует явная связь между астероидами, однако на основе орбитальных параметров можно исследовать группы объектов, имеющие схожие орбиты или величины риска столкновения с Землей.
Качество набора данных:¶
Информативность: Датасет предоставляет важные сведения о ключевых характеристиках астероидов, такие как размер, скорость и расстояние от Земли, что позволяет проводить качественный анализ их потенциальной опасности.
Степень покрытия: Набор данных включает данные о большом количестве астероидов (>90000 записей), что позволяет охватить значительную часть ближайших к Земле объектов. Однако не все астероиды могут быть обнаружены, так как данные зависят от возможности их наблюдения.
Соответствие реальным данным: Данные в наборе предоставлены NASA, что указывает на высокую достоверность и актуальность информации. Тем не менее, параметры, такие как диаметр и расстояние, могут быть оценочными и подвергаться уточнению с новыми наблюдениями.
Согласованность меток: Метрики в датасете четко обозначены, а булевы признаки, такие как "hazardous" (опасен или нет), соответствуют конкретным параметрам астероидов и легко интерпретируются.
Бизес-цели:¶
- Мониторинг космических угроз: Создание системы, которая анализирует астероиды и предсказывает риски столкновения с Землей, помогая государственным агентствам и частным компаниям разрабатывать превентивные меры.
- Поддержка космических миссий: Предоставление точных данных для планирования и безопасного проведения космических миссий, минимизация рисков столкновения с космическими объектами.
- Образовательные и научные исследования: Использование данных для поддержки образовательных программ и научных исследований в области астрономии и космической безопасности.
Эффект для бизнеса: Набор данных способствует развитию технологий космической безопасности, минимизирует финансовые риски от потенциальных катастроф и поддерживает стратегическое планирование космических миссий.
Технические цели:¶
- Моделирование риска столкновения: Построение алгоритмов машинного обучения для прогнозирования вероятности столкновения астероидов с Землей.
- Анализ и кластеризация астероидов: Исследование взаимосвязей между астероидами, анализ орбитальных данных и выделение групп астероидов, имеющих схожие характеристики.
- Оптимизация системы предупреждения угроз: Создание системы раннего оповещения, которая будет автоматически анализировать данные и предупреждать о потенциальных угрозах в реальном времени.
Входные данные: Диаметр, скорость, расстояние, орбитальные параметры астероидов.
Целевой признак: Признак "hazardous" – бинарная метка, указывающая на потенциальную опасность астероида.
Выгрузка данных из файла в DataFrame:¶
from typing import Any
from math import ceil
import pandas as pd
from pandas import DataFrame, Series
from sklearn.model_selection import train_test_split
from imblearn.over_sampling import ADASYN
from imblearn.under_sampling import RandomUnderSampler
import matplotlib.pyplot as plt
df: DataFrame = pd.read_csv('..//static//csv//neo.csv')
Краткая информация о DataFrame:¶
# Краткая информация о DataFrame
df.info()
# Статистическое описание числовых столбцов
df.describe().transpose()
Проблема пропущенных данных:¶
Проблема пропущенных данных — это отсутствие значений в наборе данных, что может искажать результаты анализа и статистические выводы.
Проверка на отсутствие значений, представленная ниже, показала, что DataFrame не имеет пустых значений признаков. Нет необходимости использовать методы заполнения пропущенных данных.
# Проверка пропущенных данных
def check_null_columns(dataframe: DataFrame) -> None:
# Присутствуют ли пустые значения признаков
print('Присутствуют ли пустые значения признаков в колонке:')
print(dataframe.isnull().any(), '\n')
# Количество пустых значений признаков
print('Количество пустых значений признаков в колонке:')
print(dataframe.isnull().sum(), '\n')
# Процент пустых значений признаков
print('Процент пустых значений признаков в колонке:')
for column in dataframe.columns:
null_rate: float = dataframe[column].isnull().sum() / len(dataframe) * 100
if null_rate > 0:
print(f"{column} процент пустых значений: {null_rate:.2f}%")
print()
# Проверка пропущенных данных
check_null_columns(df)
Проблема зашумленности данных:¶
Зашумленность – это наличие случайных ошибок или вариаций в данных, которые могут затруднить выявление истинных закономерностей. Шум может возникать из-за ошибок измерений, неправильных записей или других факторов.
Выбросы – это значения, которые значительно отличаются от остальных наблюдений в наборе данных. Выбросы могут указывать на ошибки в данных или на редкие, но важные события. Их наличие может повлиять на статистические методы анализа.
Представленный ниже код помогает определить наличие выбросов в наборе данных и устранить их (при наличии), заменив значения ниже нижней границы (рассматриваемого минимума) на значения нижней границы, а значения выше верхней границы (рассматриваемого максимума) – на значения верхней границы.
# Проверка выбросов в DataFrame
def check_outliers(dataframe: DataFrame, columns: list[str]) -> None:
for column in columns:
if not pd.api.types.is_numeric_dtype(dataframe[column]): # Проверяем, является ли колонка числовой
continue
Q1: float = dataframe[column].quantile(0.25) # 1-й квартиль (25%)
Q3: float = dataframe[column].quantile(0.75) # 3-й квартиль (75%)
IQR: float = Q3 - Q1 # Вычисляем межквартильный размах
# Определяем границы для выбросов
lower_bound: float = Q1 - 1.5 * IQR # Нижняя граница
upper_bound: float = Q3 + 1.5 * IQR # Верхняя граница
# Подсчитываем количество выбросов
outliers: DataFrame = dataframe[(dataframe[column] < lower_bound) | (dataframe[column] > upper_bound)]
outlier_count: int = outliers.shape[0]
print(f"Колонка {column}:")
print(f"\tЕсть выбросы: {'Да' if outlier_count > 0 else 'Нет'}")
print(f"\tКоличество выбросов: {outlier_count}")
print(f"\tМинимальное значение: {dataframe[column].min()}")
print(f"\tМаксимальное значение: {dataframe[column].max()}")
print(f"\t1-й квартиль (Q1): {Q1}")
print(f"\t3-й квартиль (Q3): {Q3}\n")
# Визуализация выбросов
def visualize_outliers(dataframe: DataFrame, columns: list[str]) -> None:
# Диаграммы размахов
plt.figure(figsize=(15, 10))
rows: int = ceil(len(columns) / 3)
for index, column in enumerate(columns, 1):
plt.subplot(rows, 3, index)
plt.boxplot(dataframe[column], vert=True, patch_artist=True)
plt.title(f"Диаграмма размахов для \"{column}\"")
plt.xlabel(column)
# Отображение графиков
plt.tight_layout()
plt.show()
# Числовые столбцы DataFrame
numeric_columns: list[str] = [
'est_diameter_min',
'est_diameter_max',
'relative_velocity',
'miss_distance',
'absolute_magnitude'
]
# Проверка наличия выбросов в колонках
print('Проверка наличия выбросов в колонках:')
check_outliers(df, numeric_columns)
visualize_outliers(df, numeric_columns)
# Устранить выборсы в DataFrame
def remove_outliers(dataframe: DataFrame, columns: list[str]) -> DataFrame:
for column in columns:
if not pd.api.types.is_numeric_dtype(dataframe[column]): # Проверяем, является ли колонка числовой
continue
Q1: float = dataframe[column].quantile(0.25) # 1-й квартиль (25%)
Q3: float = dataframe[column].quantile(0.75) # 3-й квартиль (75%)
IQR: float = Q3 - Q1 # Вычисляем межквартильный размах
# Определяем границы для выбросов
lower_bound: float = Q1 - 1.5 * IQR # Нижняя граница
upper_bound: float = Q3 + 1.5 * IQR # Верхняя граница
# Устраняем выбросы:
# Заменяем значения ниже нижней границы на нижнюю границу
# А значения выше верхней границы – на верхнюю
dataframe[column] = dataframe[column].apply(lambda x: lower_bound if x < lower_bound else upper_bound if x > upper_bound else x)
return dataframe
# Устраняем выборсы
df: DataFrame = remove_outliers(df, numeric_columns)
# Проверка наличия выбросов в колонках
print('Проверка наличия выбросов в колонках после их устранения:')
check_outliers(df, numeric_columns)
visualize_outliers(df, numeric_columns)
Разбиение набора данных на выборки:¶
Групповое разбиение данных – это метод разделения данных на несколько групп или подмножеств на основе определенного признака или характеристики. При этом наблюдения для одного объекта должны попасть только в одну выборку.
Основные виды выборки данных:
- Обучающая выборка (60-80%). Обучение модели (подбор коэффициентов некоторой математической функции для аппроксимации).
- Контрольная выборка (10-20%). Выбор метода обучения, настройка гиперпараметров.
- Тестовая выборка (10-20% или 20-30%). Оценка качества модели перед передачей заказчику.
Разделим выборку данных на 3 группы и проанализируем качество распределения данных.
Весь набор данных состоит из 90836 объектов, из которых 81996 (около 90.3%) неопасны (False), а 8840 (около 9.7%) опасны (True). Это говорит о том, что класс "неопасные" значительно преобладает.
Все выборки показывают одинаковое распределение классов, что свидетельствует о том, что данные были отобраны случайным образом и не содержат явного смещения.
Однако, несмотря на сбалансированность при разбиении данных, в целом данные обладают значительным дисбалансом между классами. Это может быть проблемой при обучении модели, так как она может иметь тенденцию игнорировать опасные объекты (True), что следует учитывать при дальнейшем анализе и выборе методов обработки данных.
Для получения более сбалансированных выборок данных необходимо воспользоваться методами приращения (аугментации) данных, а именно методами oversampling и undersampling.
# Функция для создания выборок
def split_stratified_into_train_val_test(
df_input,
stratify_colname="y",
frac_train=0.6,
frac_val=0.15,
frac_test=0.25,
random_state=None,
) -> tuple[Any, Any, Any]:
"""
Splits a Pandas dataframe into three subsets (train, val, and test)
following fractional ratios provided by the user, where each subset is
stratified by the values in a specific column (that is, each subset has
the same relative frequency of the values in the column). It performs this
splitting by running train_test_split() twice.
Parameters
----------
df_input : Pandas dataframe
Input dataframe to be split.
stratify_colname : str
The name of the column that will be used for stratification. Usually
this column would be for the label.
frac_train : float
frac_val : float
frac_test : float
The ratios with which the dataframe will be split into train, val, and
test data. The values should be expressed as float fractions and should
sum to 1.0.
random_state : int, None, or RandomStateInstance
Value to be passed to train_test_split().
Returns
-------
df_train, df_val, df_test :
Dataframes containing the three splits.
"""
if frac_train + frac_val + frac_test != 1.0:
raise ValueError(
"fractions %f, %f, %f do not add up to 1.0"
% (frac_train, frac_val, frac_test)
)
if stratify_colname not in df_input.columns:
raise ValueError("%s is not a column in the dataframe" % (stratify_colname))
X: DataFrame = df_input # Contains all columns.
y: DataFrame = df_input[
[stratify_colname]
] # Dataframe of just the column on which to stratify.
# Split original dataframe into train and temp dataframes.
df_train, df_temp, y_train, y_temp = train_test_split(
X, y,
stratify=y,
test_size=(1.0 - frac_train),
random_state=random_state
)
# Split the temp dataframe into val and test dataframes.
relative_frac_test: float = frac_test / (frac_val + frac_test)
df_val, df_test, y_val, y_test = train_test_split(
df_temp,
y_temp,
stratify=y_temp,
test_size=relative_frac_test,
random_state=random_state,
)
assert len(df_input) == len(df_train) + len(df_val) + len(df_test)
return df_train, df_val, df_test
# Оценка сбалансированности
def check_balance(dataframe: DataFrame, dataframe_name: str, column: str) -> None:
counts: Series[int] = dataframe[column].value_counts()
print(dataframe_name + ": ", dataframe.shape)
print(f"Распределение выборки данных по классам в колонке \"{column}\":\n", counts)
total_count: int = len(dataframe)
for value in counts.index:
percentage: float = counts[value] / total_count * 100
print(f"Процент объектов класса \"{value}\": {percentage:.2f}%")
print()
# Определение необходимости аугментации данных
def need_augmentation(dataframe: DataFrame,
column: str,
first_value: Any, second_value: Any) -> bool:
counts: Series[int] = dataframe[column].value_counts()
ratio: float = counts[first_value] / counts[second_value]
return ratio > 1.5 or ratio < 0.67
# Визуализация сбалансированности классов
def visualize_balance(dataframe_train: DataFrame,
dataframe_val: DataFrame,
dataframe_test: DataFrame,
column: str) -> None:
fig, axes = plt.subplots(1, 3, figsize=(15, 5))
# Обучающая выборка
counts_train: Series[int] = dataframe_train[column].value_counts()
axes[0].pie(counts_train, labels=counts_train.index, autopct='%1.1f%%', startangle=90)
axes[0].set_title(f"Распределение классов \"{column}\" в обучающей выборке")
# Контрольная выборка
counts_val: Series[int] = dataframe_val[column].value_counts()
axes[1].pie(counts_val, labels=counts_val.index, autopct='%1.1f%%', startangle=90)
axes[1].set_title(f"Распределение классов \"{column}\" в контрольной выборке")
# Тестовая выборка
counts_test: Series[int] = dataframe_test[column].value_counts()
axes[2].pie(counts_test, labels=counts_test.index, autopct='%1.1f%%', startangle=90)
axes[2].set_title(f"Распределение классов \"{column}\" в тренировочной выборке")
# Отображение графиков
plt.tight_layout()
plt.show()
# Вывод распределения количества наблюдений по меткам (классам)
print('Распределение количества наблюдений по меткам (классам):')
print(df.hazardous.value_counts(), '\n')
df_train, df_val, df_test = split_stratified_into_train_val_test(
df,
stratify_colname="hazardous",
frac_train=0.60,
frac_val=0.20,
frac_test=0.20
)
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок:')
check_balance(df_train, 'Обучающая выборка', 'hazardous')
check_balance(df_val, 'Контрольная выборка', 'hazardous')
check_balance(df_test, 'Тестовая выборка', 'hazardous')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train, 'hazardous', True, False) else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val, 'hazardous', True, False) else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test, 'hazardous', True, False) else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train, df_val, df_test, 'hazardous')
Приращение данных:¶
Аугментация данных может быть полезна в том случае, когда имеется недостаточное количество данных и мы хотим сгенерировать новые данные на основе имеющихся, слегка модифицировав их.
Методы решения:
- Выборка с избытком (oversampling). Копирование наблюдений или генерация новых наблюдений на основе существующих с помощью алгоритмов SMOTE и ADASYN (нахождение k-ближайших соседей).
- Выборка с недостатком (undersampling). Исключение некоторых наблюдений для меток с большим количеством наблюдений. Наблюдения можно исключать случайным образом или на основе определения связей Томека для наблюдений разных меток.
# Метод приращения с избытком (oversampling)
def oversample(df: DataFrame, column: str) -> DataFrame:
X: DataFrame = pd.get_dummies(df.drop(column, axis=1))
y: DataFrame = df[column] # type: ignore
adasyn = ADASYN()
X_resampled, y_resampled = adasyn.fit_resample(X, y) # type: ignore
df_resampled: DataFrame = pd.concat([X_resampled, y_resampled], axis=1)
return df_resampled
# Приращение данных (oversampling)
df_train_oversampled: DataFrame = oversample(df_train, 'hazardous')
df_val_oversampled: DataFrame = oversample(df_val, 'hazardous')
df_test_oversampled: DataFrame = oversample(df_test, 'hazardous')
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок после применения метода oversampling:')
check_balance(df_train_oversampled, 'Обучающая выборка', 'hazardous')
check_balance(df_val_oversampled, 'Контрольная выборка', 'hazardous')
check_balance(df_test_oversampled, 'Тестовая выборка', 'hazardous')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок после применения метода oversampling:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_oversampled, 'hazardous', True, False) else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_oversampled, 'hazardous', True, False) else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_oversampled, 'hazardous', True, False) else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train_oversampled, df_val_oversampled, df_test_oversampled, 'hazardous')
# Метод приращения с недостатком (undersampling)
def undersample(df: DataFrame, column: str) -> DataFrame:
X: DataFrame = pd.get_dummies(df.drop(column, axis=1))
y: DataFrame = df[column] # type: ignore
undersampler = RandomUnderSampler()
X_resampled, y_resampled = undersampler.fit_resample(X, y) # type: ignore
df_resampled: DataFrame = pd.concat([X_resampled, y_resampled], axis=1)
return df_resampled
# Приращение данных (undersampling)
df_train_undersampled: DataFrame = undersample(df_train, 'hazardous')
df_val_undersampled: DataFrame = undersample(df_val, 'hazardous')
df_test_undersampled: DataFrame = undersample(df_test, 'hazardous')
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок после применения метода undersampling:')
check_balance(df_train_undersampled, 'Обучающая выборка', 'hazardous')
check_balance(df_val_undersampled, 'Контрольная выборка', 'hazardous')
check_balance(df_test_undersampled, 'Тестовая выборка', 'hazardous')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок после применения метода undersampling:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_undersampled, 'hazardous', True, False) else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_undersampled, 'hazardous', True, False) else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_undersampled, 'hazardous', True, False) else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train_undersampled, df_val_undersampled, df_test_undersampled, 'hazardous')
Датасет №2: Зарплаты в области Data Science.¶
Описание датасета:¶
Данный набор данных предназначен для исследования факторов, влияющих на заработную плату специалистов по данным (Data Scientists) в 2023 году. Набор данных содержит информацию о различных характеристиках работников, таких как уровень опыта, тип занятости, местоположение сотрудника и компании, удалённость работы и размер компании. Этот анализ помогает понять, какие факторы наиболее значимо влияют на уровень зарплат в области Data Science, и как изменяются заработные платы в зависимости от этих факторов.
Анализ сведений:¶
Проблемная область: Основная задача – изучить, как различные факторы, такие как опыт, тип занятости, местоположение и удалённость работы, влияют на уровень зарплаты специалистов по данным. Это важно для понимания рыночных тенденций и формирования конкурентоспособной системы оплаты труда.
Актуальность: Данный набор данных актуален для компаний, стремящихся выстроить конкурентоспособные стратегии оплаты труда, а также для специалистов по данным, желающих оценить свои зарплатные ожидания в зависимости от их опыта, географии и типа занятости.
Объекты наблюдения: Объектами наблюдения являются специалисты по данным, работающие в различных компаниях и странах, с разным уровнем опыта и типом занятости.
Атрибуты объектов:
- work_year: Год, в который была выплачена зарплата.
- experience_level: Уровень опыта сотрудника.
- EN: Начальный.
- MI: Средний.
- SE: Старший.
- EX: Исполнительный.
- employment_type: Тип занятости.
- PT: Полная.
- FT: Частичная.
- CT: Контрактная.
- FL: Фриланс.
- job_title: Должность, которую занимал сотрудник.
- salary: Общая сумма выплаченной заработной платы.
- salary_currency: Валюта, в которой выплачена зарплата.
- salary_in_usd: Заработная плата, конвертированная в доллары США (USD).
- employee_residence: Страна проживания сотрудника в год выплаты зарплаты.
- remote_ratio: Доля удалённой работы (например, 100% удалённо или частично удалённо).
- company_location: Страна, в которой расположена основная офисная компания работодателя.
- company_size: Среднее количество сотрудников, работающих в компании.
Связь между объектами: Набор данных позволяет исследовать взаимосвязи между факторами, такими как уровень опыта, тип занятости и местоположение сотрудника, с уровнем его заработной платы. Взаимосвязи между этими факторами могут дать полезную информацию о влиянии определённых условий работы на доход.
Качество набора данных:¶
Информативность: Датасет предоставляет важную информацию для анализа различных факторов, влияющих на зарплату специалистов по данным. Он включает множество атрибутов, которые можно использовать для построения моделей и анализа.
Степень покрытия: Набор данных охватывает специалистов по данным с разным опытом, работающих в различных странах, что позволяет провести сравнительный анализ и выявить региональные и глобальные тренды.
Соответствие реальным данным: Заработные платы специалистов по данным, приведенные в датасете, отражают реальную ситуацию на рынке труда в 2023 году, предоставляя точные данные для анализа текущих рыночных условий.
Согласованность меток: Все категории, такие как уровни опыта или типы занятости, имеют четко определённые метки, что упрощает анализ и моделирование.
Бизес-цели:¶
- Оптимизация структуры оплаты труда: Компании могут использовать данный анализ для создания конкурентных предложений по оплате труда, основываясь на опыте, географии и других значимых факторах.
- Планирование найма и удержание специалистов: Помогает работодателям понять, какие факторы могут привлечь или удержать специалистов по данным, и оптимизировать HR-процессы для сокращения текучести кадров.
- Анализ глобальных и региональных зарплатных трендов: Позволяет компаниям проводить сравнительный анализ зарплат по регионам, уровням опыта и типам занятости, помогая в принятии решений о расширении бизнеса в разные страны.
Эффект для бизнеса: Компании, использующие данную информацию, могут предлагать конкурентоспособные зарплаты, улучшить процессы найма и удержания специалистов, а также сократить издержки, связанные с высокими зарплатными ожиданиями. Это также помогает улучшить планирование бюджета на персонал.
Технические цели:¶
- Построение модели прогнозирования зарплат: Создание модели, которая будет предсказывать уровень зарплаты специалиста по данным на основе таких факторов, как опыт, регион и удалённость работы.
- Анализ влияния опыта и удалённости на зарплату: Исследование того, как уровень опыта и удалённость работы влияют на заработную плату, что может помочь компаниям лучше планировать условия найма.
- Оптимизация найма специалистов: С помощью анализа компания может определить наиболее значимые факторы для назначения зарплат, чтобы предлагать более конкурентные условия и привлекать лучших специалистов.
Входные данные: Год, уровень опыта, тип занятости, должность, зарплата, страна проживания, удалённость работы.
Целевой признак: Признак "salary_in_usd" – заработная плата в долларах США.
Выгрузка данных из файла в DataFrame:¶
df: DataFrame = pd.read_csv('..//static//csv//ds_salaries.csv')
Краткая информация о DataFrame:¶
# Краткая информация о DataFrame
df.info()
# Статистическое описание числовых столбцов
df.describe().transpose()
Проблема пропущенных данных:¶
Проверка на отсутствие значений, представленная ниже, показала, что DataFrame не имеет пустых значений признаков. Нет необходимости использовать методы заполнения пропущенных данных.
# Проверка пропущенных данных
check_null_columns(df)
Проблема зашумленности данных:¶
Представленный ниже код помогает определить наличие выбросов в наборе данных и устранить их (при наличии), заменив значения ниже нижней границы (рассматриваемого минимума) на значения нижней границы, а значения выше верхней границы (рассматриваемого максимума) – на значения верхней границы.
# Числовые столбцы DataFrame
numeric_columns: list[str] = [
'work_year',
'salary',
'salary_in_usd',
'remote_ratio'
]
# Проверка наличия выбросов в колонках
print('Проверка наличия выбросов в колонках:')
check_outliers(df, numeric_columns)
visualize_outliers(df, numeric_columns)
# Устраняем выборсы
df: DataFrame = remove_outliers(df, numeric_columns)
# Проверка наличия выбросов в колонках
print('Проверка наличия выбросов в колонках после их устранения:')
check_outliers(df, numeric_columns)
visualize_outliers(df, numeric_columns)
Разбиение набора данных на выборки:¶
Разделим выборку данных на 3 группы и проанализируем качество распределения данных.
Стратифицированное разбиение требует, чтобы в каждом классе, по которому происходит стратификация, было минимум по два элемента, иначе метод не сможет корректно разделить данные на тренировочные, валидационные и тестовые наборы.
Чтобы решить эту проблему введём категории для значения зарплаты. Вместо того, чтобы использовать точные значения зарплаты для стратификации, мы создадим категории зарплат, основываясь на квартилях (25%, 50%, 75%) и минимальном и максимальном значении зарплаты. Это позволит создать более крупные классы, что устранит проблему с редкими значениями
Категории для разбиения зарплат:
- Низкая зарплата: зарплаты ниже первого квартиля (25%) — это значения меньше 95000.
- Средняя зарплата: зарплаты между первым квартилем (25%) и третьим квартилем (75%) — это зарплаты от 95000 до 175000.
- Высокая зарплата: зарплаты выше третьего квартиля (75%) и до максимального значения — это зарплаты выше 175000.
Весь набор данных состоит из 3755 объектов, из которых 1867 (около 49.7%) имеют средний уровень зарплаты (medium), 956 (около 25.4%) – низкий уровень зарплаты (low), и 932 (около 24.8%) – высокий уровень зарплаты (high).
Все выборки показывают одинаковое распределение классов, что свидетельствует о том, что данные были отобраны случайным образом и не содержат явного смещения.
Однако, несмотря на сбалансированность при разбиении данных, в целом данные обладают значительным дисбалансом между классами. Это может быть проблемой при обучении модели, так как она может иметь тенденцию игнорировать низкие или высокие зарплаты (low или high), что следует учитывать при дальнейшем анализе и выборе методов обработки данных.
Для получения более сбалансированных выборок данных необходимо воспользоваться методами приращения (аугментации) данных, а именно методами oversampling и undersampling.
# Вывод распределения количества наблюдений по меткам (классам)
print('Распределение количества наблюдений по меткам (классам):')
print(df.salary_in_usd.value_counts(), '\n')
# Статистическое описание целевого признака
print('Статистическое описание целевого признака:')
print(df['salary_in_usd'].describe().transpose(), '\n')
# Определим границы для каждой категории зарплаты
bins: list[float] = [df['salary_in_usd'].min() - 1,
df['salary_in_usd'].quantile(0.25),
df['salary_in_usd'].quantile(0.75),
df['salary_in_usd'].max() + 1]
labels: list[str] = ['low', 'medium', 'high']
# Создаем новую колонку с категориями зарплат#
df['salary_category'] = pd.cut(df['salary_in_usd'], bins=bins, labels=labels)
# Вывод распределения количества наблюдений по меткам (классам)
print('Распределение количества наблюдений по меткам (классам):')
print(df['salary_category'].value_counts(), '\n')
df_train, df_val, df_test = split_stratified_into_train_val_test(
df,
stratify_colname="salary_category",
frac_train=0.60,
frac_val=0.20,
frac_test=0.20
)
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок:')
check_balance(df_train, 'Обучающая выборка', 'salary_category')
check_balance(df_val, 'Контрольная выборка', 'salary_category')
check_balance(df_test, 'Тестовая выборка', 'salary_category')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train, 'salary_category', 'low', 'medium') else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val, 'salary_category', 'low', 'medium') else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test, 'salary_category', 'low', 'medium') else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train, df_val, df_test, 'salary_category')
Приращение данных:¶
# Приращение данных (oversampling)
df_train_oversampled: DataFrame = oversample(df_train, 'salary_category')
df_val_oversampled: DataFrame = oversample(df_val, 'salary_category')
df_test_oversampled: DataFrame = oversample(df_test, 'salary_category')
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок после применения метода oversampling:')
check_balance(df_train_oversampled, 'Обучающая выборка', 'salary_category')
check_balance(df_val_oversampled, 'Контрольная выборка', 'salary_category')
check_balance(df_test_oversampled, 'Тестовая выборка', 'salary_category')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок после применения метода oversampling:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_oversampled, 'salary_category', 'low', 'medium') else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_oversampled, 'salary_category', 'low', 'medium') else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_oversampled, 'salary_category', 'low', 'medium') else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train_oversampled, df_val_oversampled, df_test_oversampled, 'salary_category')
# Приращение данных (undersampling)
df_train_undersampled: DataFrame = undersample(df_train, 'salary_category')
df_val_undersampled: DataFrame = undersample(df_val, 'salary_category')
df_test_undersampled: DataFrame = undersample(df_test, 'salary_category')
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок после применения метода undersampling:')
check_balance(df_train_undersampled, 'Обучающая выборка', 'salary_category')
check_balance(df_val_undersampled, 'Контрольная выборка', 'salary_category')
check_balance(df_test_undersampled, 'Тестовая выборка', 'salary_category')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок после применения метода undersampling:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_undersampled, 'salary_category', 'low', 'medium') else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_undersampled, 'salary_category', 'low', 'medium') else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_undersampled, 'salary_category', 'low', 'medium') else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train_undersampled, df_val_undersampled, df_test_undersampled, 'salary_category')
Датасет №3: Экономика стран.¶
Описание датасета:¶
Данный набор данных содержит информацию о ключевых макроэкономических показателях для восьми стран (Китай, Франция, Германия, Индия, Япония, Испания, Великобритания, США) и одного специального административного района (Гонконг) за период с 1980 по 2020 год. В наборе представлены данные о таких макроэкономических переменных, как инфляция, уровень безработицы, ВВП, обменные курсы (по отношению к доллару США), доход на душу населения и цены на основные фондовые индексы каждой страны. Этот датасет полезен для анализа взаимосвязей между экономическими показателями и динамикой фондовых индексов стран, что может быть использовано для экономического моделирования и прогноза.
Анализ сведений:¶
Проблемная область: Основная задача – исследование взаимосвязей между макроэкономическими переменными и ценами на фондовые индексы, а также анализ влияния таких факторов, как инфляция, ВВП и обменные курсы на фондовые рынки и экономическую стабильность стран.
Актуальность: Этот датасет актуален для исследователей, аналитиков и экономистов, занимающихся изучением макроэкономических трендов, финансовых рынков и их взаимосвязей. Он предоставляет данные, необходимые для анализа экономических кризисов, изменений на фондовых рынках и долгосрочных макроэкономических прогнозов.
Объекты наблюдения: Страны (или регионы), данные по которым включены в датасет: Китай, Франция, Германия, Гонконг, Индия, Япония, Испания, Великобритания и США. Для каждого из них собирались данные за период с 1980 по 2020 год.
Атрибуты объектов:
- stock index: Название основного фондового индекса страны.
- country: Название страны.
- year: Год, к которому относятся данные.
- index price: Средняя цена фондового индекса за год.
- log_indexprice: Логарифмическое значение цены индекса для учета валютных различий.
- inflationrate: Уровень инфляции в стране.
- oil prices: Цены на нефть в долларах США.
- exchange_rate: Обменный курс валюты страны по отношению к доллару США.
- gdppercent: Рост ВВП (в процентах).
- percapitaincome: Доход на душу населения.
- unemploymentrate: Уровень безработицы (в процентах).
- manufacturingoutput: Объем производства в промышленном секторе страны.
- tradebalance: Торговый баланс.
- USTreasury: Облигации.
Связь между объектами: Данные позволяют исследовать взаимосвязи между макроэкономическими факторами и ценами на фондовые индексы, а также между другими экономическими показателями. Например, можно анализировать, как инфляция и обменный курс влияют на фондовый рынок каждой страны или как колебания цен на нефть отражаются на экономике разных стран.
Качество набора данных:¶
Информативность: Датасет включает широкий спектр макроэкономических показателей и цены фондовых индексов за 40-летний период, что делает его очень полезным для анализа долгосрочных экономических трендов и финансовых рынков.
Степень покрытия: Набор данных охватывает данные по ведущим экономикам мира, представляя достаточно полную картину макроэкономической динамики в разных странах и регионах за большой временной период (1980–2020 гг.).
Соответствие реальным данным: Все представленные макроэкономические показатели и цены фондовых индексов являются официальными экономическими данными, которые используются для анализа и прогнозирования в реальных условиях.
Согласованность меток: Названия признаков определены недостаточно чётко. Обычно названия признаков записываются в стиле "snake_case" – слова пишутся строчными буквами и разделяются знаком нижнего подчеркивания. В данном же случае некоторые названия переменных записаны в стиле "snake_case", у некоторых слова разделяются пробелом, у некоторых вовсе не разделяются и пишутся слитно. Также в описании датасета отсутствовала расшифровка нескольких столбцов датасета – их предназначение пришлось домысливать самому, основываясь лишь на собственной логике. Сами данные представляют собой легко интерпретируемые экономические показатели, что упрощает их анализ и использование в эконометрических моделях.
Бизес-цели:¶
- Оценка влияния макроэкономических факторов на фондовые рынки: Анализ взаимосвязей между инфляцией, обменными курсами, ВВП и динамикой фондовых индексов для прогнозирования изменений на фондовых рынках.
- Прогнозирование экономических кризисов: Использование данных для создания моделей, позволяющих прогнозировать экономические кризисы или спады на основе динамики ключевых макроэкономических переменных.
- Оптимизация инвестиционных решений: Помощь инвесторам и финансовым аналитикам в понимании влияния экономических факторов на фондовые рынки для принятия более обоснованных инвестиционных решений.
Эффект для бизнеса: Компании, использующие данные для анализа и прогнозирования, могут лучше управлять рисками, связанными с изменениями на фондовых рынках и макроэкономическими условиями. Это может привести к более точным инвестиционным стратегиям и повышению эффективности управления активами.
Технические цели:¶
- Построение модели прогнозирования цен на фондовые индексы: Создание модели машинного обучения для прогнозирования цен на фондовые индексы на основе макроэкономических показателей, таких как инфляция, ВВП и обменные курсы.
- Анализ корреляций между макроэкономическими переменными: Проведение анализа корреляций между такими показателями, как инфляция, доход на душу населения, цены на нефть и курс валют для выявления ключевых факторов, влияющих на фондовые рынки.
- Прогнозирование долгосрочных экономических трендов: Использование данных для построения прогнозов долгосрочных макроэкономических трендов и их влияния на экономику и финансовые рынки.
Входные данные: Инфляция, ВВП, обменные курсы, цены на нефть, цены фондовых индексов, доход на душу населения, уровень безработицы, объем производства в промышленном секторе страны, торговый баланс, облигации.
Целевой признак: Признак "index_price" – средняя цена фондового индекса страны.
Выгрузка данных из файла в DataFrame:¶
df: DataFrame = pd.read_csv('..//static//csv//economic_data.csv')
Краткая информация о DataFrame:¶
# Краткая информация о DataFrame
df.info()
# Статистическое описание числовых столбцов
df.describe().transpose()
Проблема пропущенных данных:¶
Проверка на отсутствие значений, представленная ниже, показала, что некоторые колонки DataFrame содержат пустые значения признаков.
Решения проблемы отсутствия значений:
- Удаление примеров с пустыми значениями (допустимо для набора данных с большим количеством наблюдений).
- Использовать метод машинного обучения, который способен обработать пустые значения (например, деревья решений).
- Использовать методы подстановки данных:
- Заполнить средним значением признака (среднее по колонке).
- Подставить магическое число (число за диапазоном доступных значений).
- Обучить модель для предсказания пропущенного значения на основе других значений наблюдения.
Воспользуемся методом подстановки среднего значения признака.
# Заполнить пропущенные данные средним значением
def fill_null_columns(dataframe: DataFrame) -> DataFrame:
for column in dataframe.columns:
null_rate: float = dataframe[column].isnull().sum() / len(dataframe) * 100
if null_rate > 0:
# Замена пустых данных на медиану
df[column] = df[column].fillna(df[column].median())
return dataframe
# Проверка пропущенных данных
print('До заполнения пустых значений:')
check_null_columns(df)
# Заполнение пропущенных значений
df: DataFrame = fill_null_columns(df)
# Проверка пропущенных данных
print('После заполнения пустых значений:')
check_null_columns(df)
Проблема зашумленности данных:¶
Представленный ниже код помогает определить наличие выбросов в наборе данных и устранить их (при наличии), заменив значения ниже нижней границы (рассматриваемого минимума) на значения нижней границы, а значения выше верхней границы (рассматриваемого максимума) – на значения верхней границы.
# Числовые столбцы DataFrame
numeric_columns: list[str] = [
'year',
'index price',
'log_indexprice',
'inflationrate',
'oil prices',
'exchange_rate',
'gdppercent',
'percapitaincome',
'unemploymentrate',
'manufacturingoutput',
'tradebalance',
'USTreasury'
]
# Проверка наличия выбросов в колонках
print('Проверка наличия выбросов в колонках:')
check_outliers(df, numeric_columns)
visualize_outliers(df, numeric_columns)
# Устраняем выборсы
df: DataFrame = remove_outliers(df, numeric_columns)
# Проверка наличия выбросов в колонках
print('Проверка наличия выбросов в колонках после их устранения:')
check_outliers(df, numeric_columns)
visualize_outliers(df, numeric_columns)
Разбиение набора данных на выборки:¶
Разделим выборку данных на 3 группы и проанализируем качество распределения данных.
Стратифицированное разбиение требует, чтобы в каждом классе, по которому происходит стратификация, было минимум по два элемента, иначе метод не сможет корректно разделить данные на тренировочные, валидационные и тестовые наборы.
Чтобы решить эту проблему введём категории для значения цены фондового рынка. Вместо того, чтобы использовать точные значения цен для стратификации, мы создадим категории, основываясь на квартилях (25%, 50%, 75%) и минимальном и максимальном значении. Это позволит создать более крупные классы, что устранит проблему с редкими значениями.
Категории для разбиения зарплат:
- Низкая цена индекса: значения ниже первого квартиля (25%) — это цены фондовых индексов ниже 2846.50.
- Средняя цена индекса: значения между первым квартилем (25%) и третьим квартилем (75%) — это цены от 2846.50 до 9484.47.
- Высокая цена индекса: значения выше третьего квартиля (75%) и до максимального значения — это цены выше 9484.47.
Весь набор данных состоит из 369 объектов, из которых 184 (около 49.9%) имеют средний уровень цены фондового рынка (medium), 93 (около 25.2%) – низкий уровень цены (low), и 92 (около 24.9%) – высокий уровень цены (high).
Все выборки показывают одинаковое распределение классов, что свидетельствует о том, что данные были отобраны случайным образом и не содержат явного смещения.
Однако, несмотря на сбалансированность при разбиении данных, в целом данные обладают значительным дисбалансом между классами. Это может быть проблемой при обучении модели, так как она может иметь тенденцию игнорировать низкие или высокие цены фондовых рынков (low или high), что следует учитывать при дальнейшем анализе и выборе методов обработки данных.
Для получения более сбалансированных выборок данных необходимо воспользоваться методами приращения (аугментации) данных, а именно методами oversampling и undersampling.
# Вывод распределения количества наблюдений по меткам (классам)
print('Распределение количества наблюдений по меткам (классам):')
print(df['index price'].value_counts(), '\n')
# Статистическое описание целевого признака
print('Статистическое описание целевого признака:')
print(df['index price'].describe().transpose(), '\n')
# Определим границы для каждой категории цен фондового рынка
bins: list[float] = [df['index price'].min() - 1,
df['index price'].quantile(0.25),
df['index price'].quantile(0.75),
df['index price'].max() + 1]
labels: list[str] = ['low', 'medium', 'high']
# Создаем новую колонку с категориями зарплат
df['index_price_category'] = pd.cut(df['index price'], bins=bins, labels=labels)
# Вывод распределения количества наблюдений по меткам (классам)
print('Распределение количества наблюдений по меткам (классам):')
print(df['index_price_category'].value_counts(), '\n')
df_train, df_val, df_test = split_stratified_into_train_val_test(
df,
stratify_colname="index_price_category",
frac_train=0.60,
frac_val=0.20,
frac_test=0.20
)
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок:')
check_balance(df_train, 'Обучающая выборка', 'index_price_category')
check_balance(df_val, 'Контрольная выборка', 'index_price_category')
check_balance(df_test, 'Тестовая выборка', 'index_price_category')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train, 'index_price_category', 'low', 'medium') else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val, 'index_price_category', 'low', 'medium') else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test, 'index_price_category', 'low', 'medium') else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train, df_val, df_test, 'index_price_category')
Приращение данных:¶
# Приращение данных (oversampling)
df_train_oversampled: DataFrame = oversample(df_train, 'index_price_category')
df_val_oversampled: DataFrame = oversample(df_val, 'index_price_category')
df_test_oversampled: DataFrame = oversample(df_test, 'index_price_category')
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок после применения метода oversampling:')
check_balance(df_train_oversampled, 'Обучающая выборка', 'index_price_category')
check_balance(df_val_oversampled, 'Контрольная выборка', 'index_price_category')
check_balance(df_test_oversampled, 'Тестовая выборка', 'index_price_category')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок после применения метода oversampling:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_oversampled, 'index_price_category', 'low', 'medium') else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_oversampled, 'index_price_category', 'low', 'medium') else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_oversampled, 'index_price_category', 'low', 'medium') else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train_oversampled, df_val_oversampled, df_test_oversampled, 'index_price_category')
# Приращение данных (undersampling)
df_train_undersampled: DataFrame = undersample(df_train, 'index_price_category')
df_val_undersampled: DataFrame = undersample(df_val, 'index_price_category')
df_test_undersampled: DataFrame = undersample(df_test, 'index_price_category')
# Проверка сбалансированности выборок
print('Проверка сбалансированности выборок после применения метода undersampling:')
check_balance(df_train_undersampled, 'Обучающая выборка', 'index_price_category')
check_balance(df_val_undersampled, 'Контрольная выборка', 'index_price_category')
check_balance(df_test_undersampled, 'Тестовая выборка', 'index_price_category')
# Проверка необходимости аугментации выборок
print('Проверка необходимости аугментации выборок после применения метода undersampling:')
print(f"Для обучающей выборки аугментация данных {'не ' if not need_augmentation(df_train_undersampled, 'index_price_category', 'low', 'medium') else ''}требуется")
print(f"Для контрольной выборки аугментация данных {'не ' if not need_augmentation(df_val_undersampled, 'index_price_category', 'low', 'medium') else ''}требуется")
print(f"Для тестовой выборки аугментация данных {'не ' if not need_augmentation(df_test_undersampled, 'index_price_category', 'low', 'medium') else ''}требуется")
# Визуализация сбалансированности классов
visualize_balance(df_train_undersampled, df_val_undersampled, df_test_undersampled, 'index_price_category')
