AIM-PIbd-31-Potapov-N-S/lab_2/lab2.ipynb

Датасет 1. Зарплата специалистов по обработке данных в 2023 году¶

https://www.kaggle.com/datasets/henryshan/2023-data-scientists-salary

Анализ сведений¶

Краткое описание¶

Этот датасет посвящен анализу факторов, влияющих на уровень заработных плат специалистов в области Data Science. Включенные данные позволяют исследовать взаимосвязь между различными характеристиками сотрудников и их доходами.

Проблемная область¶

Датасет касается анализа факторов, влияющих на заработную плату специалистов в области Data Science, что является важным аспектом для понимания экономических и профессиональных тенденций на рынке труда в этой сфере. Проблемная область включает:

• Анализ влияния опыта, типа занятости, географического положения и других факторов на размер заработной платы специалистов.
• Определение ключевых факторов, влияющих на рост зарплаты в профессии Data Scientist.
• Выявление тенденций, которые могут помочь работодателям и специалистам принимать решения о карьере, зарплате и условиях работы.

Актуальность¶

• Рост профессии: Data Science — это одна из самых востребованных и динамично развивающихся областей на рынке труда. Понимание факторов, влияющих на зарплату, важно для профессионалов и компаний.
• Тенденции на рынке труда: В условиях глобализации и удаленной работы важно понять, как тип занятости и местоположение компании влияют на оплату труда.
• Оптимизация карьерных решений: Анализ данных поможет специалистам принимать обоснованные решения при выборе карьерных путей, а работодателям — разрабатывать конкурентоспособные предложения по зарплате и условиям работы.

Объекты наблюдений¶

Объектами наблюдения являются Data Scientists, то есть специалисты, занимающиеся анализом данных. Каждый объект представляет собой запись, которая отражает характеристики работы конкретного специалиста в определенный год.

Атрибуты объектов¶

Каждый объект имеет следующие атрибуты:

• work_year — год, в котором была выплачена зарплата. Позволяет отслеживать изменения зарплат в разные годы.
• experience_level — уровень опыта сотрудника (Entry-level, Mid-level, Senior-level, Executive-level). Это важный атрибут, который влияет на зарплату.
• employment_type — тип занятости (Part-time, Full-time, Contract, Freelance). Определяет, является ли работа постоянной или временной.
• job_title — должность, занимаемая сотрудником. Важно для анализа различий между зарплатами для разных специализаций.
• salary — общая сумма заработной платы.
• salary_currency — валюта, в которой выплачена зарплата.
• salaryinusd — зарплата в долларах США. Этот атрибут используется для стандартизации данных.
• employee_residence — страна проживания сотрудника. Влияет на размер зарплаты и может быть важным для анализа глобальных различий.
• remote_ratio — доля работы, выполняемой удаленно. Важно для анализа влияния удаленной работы на уровень зарплаты.
• company_location — страна, где находится основная офисная локация компании. Это атрибут, который позволяет анализировать региональные различия в зарплатах.
• company_size — размер компании, выраженный через медиану числа сотрудников. Размер компании может влиять на оплату труда, так как крупные компании часто предлагают более высокие зарплаты.

Связь между объектами¶

Связь между объектами заключается в том, что все атрибуты в совокупности описывают профессиональную деятельность и условия работы каждого специалиста. Например:

• experience_level и job_title могут быть взаимосвязаны, так как более высокие должности (например, Senior или Executive) соответствуют большему опыту.
• salary напрямую зависит от experience_level, employment_type, employee_residence, company_location, и company_size, а также от уровня удаленности работы (remote_ratio).
• salaryinusd служит для нормализации и сопоставления зарплат между различными странами и валютами.
• employee_residence и company_location могут быть связаны с различиями в заработной плате, так как зарплаты могут варьироваться в зависимости от страны проживания и местоположения компании.

Качество набора данных¶

Информативность¶

Датасет содержит разнообразные атрибуты, которые предоставляют полезную информацию для анализа факторов, влияющих на зарплату специалистов в области Data Science. Включенные переменные, такие как уровень опыта, тип занятости, зарплата, географическое расположение и удаленная работа, позволяют провести многогранный анализ и выявить значимые закономерности. Однако, отсутствие информации о дополнительной квалификации или навыках специалистов (например, знание конкретных технологий или инструментов) может ограничить глубину анализа.

Степень покрытия¶

Датасет охватывает достаточно широкий спектр факторов, влияющих на зарплату, включая географические данные (страна проживания, местоположение компании) и рабочие условия (удаленная работа, тип занятости). Однако степень покрытия может быть ограничена:

• Данные охватывают только одну профессиональную категорию (Data Science), что не позволяет делать выводы о других областях.
• Пропущенные данные по некоторым атрибутам могут снизить полноту информации (например, отсутствие данных по размеру компании или типу работы для некоторых записей).

Соответствие реальным данным¶

Датасет в целом отражает реальные условия рынка труда для специалистов в области Data Science. Он содержит важные атрибуты, такие как уровень опыта и зарплата, которые широко используются в исследованиях зарплат. Однако стоит учитывать, что в реальной жизни могут существовать дополнительные переменные, которые не учтены в наборе данных, такие как текущее состояние отрасли или специфические тренды (например, спрос на специалистов в определенных областях).

Согласованность меток¶

Метки в датасете, такие как experience_level (уровень опыта), employment_type (тип занятости), и company_size (размер компании), имеют четкие и логичные категории, что способствует легкости их интерпретации. Однако для некоторых меток могут возникнуть проблемы с точностью классификации, например:

• В разных странах или компаниях могут существовать различные способы определения уровней опыта, и это может не всегда совпадать с метками в датасете.
• Некоторые метки могут требовать дополнительного пояснения, например, категориальные значения для remote_ratio или job_title могут быть варьироваться в зависимости от контекста.

Бизнес-цели¶

1. Определение конкурентоспособных уровней зарплат для специалистов в области Data Science¶

Эффект на бизнес: Датасет поможет компаниям, работающим в сфере Data Science, определять конкурентоспособные уровни зарплат для специалистов в зависимости от уровня опыта, типа занятости и географического положения. Это способствует привлечению и удержанию талантливых специалистов, улучшая стратегию найма и оптимизируя расходы на оплату труда.

Примеры целей технического проекта:

• Цель проекта: Создание модели для предсказания конкурентоспособных зарплат для специалистов по Data Science в зависимости от их уровня опыта и местоположения.
  • Что поступает на вход: Данные о годе работы, уровне опыта, типе занятости, местоположении компании и специалиста.
  • Целевой признак: Прогнозируемая зарплата (в долларах США или эквивалент в локальной валюте).

2. Определение факторов, влияющих на рост зарплат в сфере Data Science¶

Эффект на бизнес: Анализ факторов, влияющих на рост зарплат, позволит компаниям лучше понимать, какие характеристики (например, удаленная работа, опыт работы в крупных компаниях) способствуют повышению заработной платы. Это может помочь в построении программ карьерного роста и мотивации для сотрудников.

Примеры целей технического проекта:

• Цель проекта: Разработка модели для анализа факторов, которые влияют на рост зарплат в сфере Data Science.
  • Что поступает на вход: Данные о годе работы, уровне опыта, типе занятости, удаленной работе, размере компании и других характеристиках.
  • Целевой признак: Изменение зарплаты за год (прибавка к зарплате или её снижение).

3. Улучшение стратегии удаленной работы и гибких условий занятости¶

Эффект на бизнес: Датасет поможет компаниям понять, как удаленная работа или гибкие условия занятости влияют на уровень зарплаты специалистов. Это даст возможность оптимизировать политику гибкости в работе и предложить лучшие условия для сотрудников, что повышает их удовлетворенность и снижает текучесть кадров.

Примеры целей технического проекта:

• Цель проекта: Создание модели для анализа влияния удаленной работы и типа занятости на уровень зарплаты в сфере Data Science.
  • Что поступает на вход: Данные о проценте удаленной работы, типе занятости (фриланс, контракт, полная или частичная занятость).
  • Целевой признак: Зарплата в зависимости от удаленности работы и типа занятости (фиксированная сумма или разница в зарплатах для разных типов занятости).

Датасет 2. Анализ продаж филиалов супермаркетов¶

https://www.kaggle.com/datasets/surajjha101/stores-area-and-sales-data

Анализ сведений о датасете¶

Проблемная область¶

Датасет описывает производственные и экономические характеристики магазинов супермаркетов с целью анализа их деятельности и выявления факторов, влияющих на прибыльность. Задачи включают:

• Оценку производительности магазинов;
• Поиск факторов, которые могут улучшить прибыль и эффективность;
• Определение взаимосвязи между различными характеристиками магазинов.

Актуальность¶

Анализ эффективности супермаркетов актуален в сфере розничной торговли, поскольку помогает:

• Повышать прибыльность магазинов;
• Улучшать распределение ресурсов (например, товаров или пространства);
• Оптимизировать маркетинговые и операционные стратегии;
• Оценивать влияние внешних факторов (например, площади магазина или ассортимента товаров) на продажи.

Объекты наблюдений¶

Объектами наблюдения являются магазины супермаркетов, каждый из которых представлен в датасете через уникальный идентификатор (Store ID). Для каждого магазина представлены различные параметры, которые отражают его физическую структуру и экономическую деятельность.

Атрибуты объектов¶

Каждое наблюдение (магазин) имеет следующие атрибуты:

• Store ID — уникальный идентификатор магазина (индекс);
• Store_Area — физическая площадь магазина в квадратных ярдах (меряет размер магазина);
• Items_Available — количество различных товаров, доступных в магазине (ассортимент);
• Daily_Customer_Count — среднее количество клиентов, посещающих магазин ежедневно (популярность);
• Store_Sales — объем продаж магазина в долларах США (экономическая эффективность).

Связь между объектами¶

Связь между атрибутами объектов (магазинов) может быть следующей:

• Store_Area ↔ Items_Available: Большее количество товаров может требовать большей площади для их размещения.
• Store_Area ↔ Store_Sales: Большая площадь магазина может свидетельствовать о большем объеме продаж, поскольку позволяет разместить больше товаров и обслуживать больше клиентов.
• Items_Available ↔ Daily_Customer_Count: Магазины с большим ассортиментом товаров могут привлекать больше клиентов, особенно если товары соответствуют потребительским ожиданиям.
• Daily_Customer_Count ↔ Store_Sales: Прямая зависимость — большее количество клиентов может привести к большему объему продаж.

Для дальнейшего анализа можно использовать корреляционные методы, чтобы понять, как различные факторы (площадь, ассортимент, количество клиентов) влияют на продажи.

Качество набора данных¶

1. Информативность:
   Датасет содержит несколько ключевых атрибутов, которые отражают как физические характеристики магазинов, так и их экономическую эффективность. Эти атрибуты (площадь, ассортимент товаров, количество клиентов и продажи) достаточно информативны для начального анализа производительности супермаркетов.

2. Степень покрытия:
   Датасет охватывает информацию по нескольким магазинам компании, однако он может не быть репрезентативным для всей розничной сети, так как данные собраны только для определенных магазинов с их уникальными характеристиками. Это может ограничить выводы, если не все магазины покрыты в данных.

3. Соответствие реальным данным:
   Данные, представленные в датасете, соответствуют реальной практической ситуации, поскольку информация о площади магазинов, количестве товаров и клиентском потоке довольно типична для анализа розничных торговых точек.

4. Согласованность меток:
   Метки данных (например, Store ID, Store_Area, Items_Available и т.д.) хорошо согласованы и имеют понятные и логичные наименования. Однако для полной уверенности в корректности данных потребуется проверка на наличие пропусков или аномалий (например, если площадь магазина или количество товаров кажется необычно низким или высоким).

Бизнес цели, которые может решить датасет:¶

1. Оптимизация ассортимента товаров и пространства
   Цель: Разработать стратегию по оптимальному размещению товаров и выбору ассортимента в зависимости от площади магазина и его клиентской базы.
   Эффект на бизнес: Поможет увеличить продажи путем улучшения доступности популярных товаров и оптимизации использования пространства в магазинах.

   Цели технического проекта:

   • Входные данные: Площадь магазина, количество товаров, ежедневное количество клиентов.
   • Целевой признак: Объем продаж (Store_Sales).

2. Увеличение продаж через улучшение привлечения клиентов
   Цель: Разработать стратегию по увеличению потока клиентов в магазины на основе текущего количества покупателей и их корреляции с объемом продаж.
   Эффект на бизнес: Увеличение количества клиентов может прямо повлиять на рост продаж и прибыльность, особенно если будет применена стратегия привлечения дополнительного потока потребителей.

   Цели технического проекта:

   • Входные данные: Количество товаров в магазине, площадь магазина, среднее количество клиентов.
   • Целевой признак: Объем продаж (Store_Sales).

3. Предсказание и управление производительностью магазинов
   Цель: Оценить, какие факторы (площадь, ассортимент, количество клиентов) влияют на эффективность магазина и как прогнозировать его продажи в будущем.
   Эффект на бизнес: Ожидаемый результат — повышение точности прогнозов продаж и улучшение стратегического планирования для различных магазинов сети.

   Цели технического проекта:

   • Входные данные: Площадь магазина, количество товаров, ежедневное количество клиентов.
   • Целевой признак: Объем продаж (Store_Sales).

Примеры целей технического проекта для каждой бизнес-цели:¶

1. Оптимизация ассортимента товаров и пространства

   • Задача: Построить модель, которая на основе площади магазина и ассортимента товаров будет предсказывать оптимальный объем продаж.
   • Вход: Площадь магазина (Store_Area), Количество товаров (Items_Available).
   • Цель: Прогнозировать объем продаж (Store_Sales).

2. Увеличение продаж через улучшение привлечения клиентов

   • Задача: Разработать алгоритм, который будет анализировать связи между количеством клиентов и продажами для оценки эффективности маркетинговых усилий.
   • Вход: Среднее количество клиентов (Daily_Customer_Count), Количество товаров (Items_Available), Площадь магазина (Store_Area).
   • Цель: Прогнозировать объем продаж (Store_Sales).

3. Предсказание и управление производительностью магазинов

   • Задача: Построить модель для предсказания объемов продаж на основе характеристик магазинов, чтобы заранее прогнозировать производительность и принимать меры по улучшению результатов.
   • Вход: Площадь магазина (Store_Area), Среднее количество клиентов (Daily_Customer_Count), Количество товаров (Items_Available).
   • Цель: Прогнозировать объем продаж (Store_Sales).