162 KiB
162 KiB
- Цены на мобильные телефоны https://www.kaggle.com/datasets/dewangmoghe/mobile-phone-price-prediction
- Цены на акции Starbucks https://www.kaggle.com/datasets/mayankanand2701/starbucks-stock-price-dataset
- Цены на золото https://www.kaggle.com/datasets/sid321axn/gold-price-prediction-dataset
Датасет 1. Цены мобильных телефонов
- Name: Название модели мобильного телефона.
- Rating: Рейтинг мобильного телефона (по отзывам пользователей).
- Spec_score: Оценка спецификаций телефона (возможно, по различным характеристикам).
- No_of_sim: Количество SIM-карт, поддерживаемых телефоном.
- Ram: Объем оперативной памяти (RAM) в гигабайтах.
- Battery: Емкость батареи в мАч.
- Display: Размер дисплея в дюймах.
- Camera: Разрешение камеры (в мегапикселях).
- External_Memory: Поддержка внешней памяти (да/нет).
- Android_version: Версия операционной системы Android.
- Price: Цена мобильного телефона в долларах США.
- Company: Производитель телефона.
- Inbuilt_memory: Объем встроенной памяти (в гигабайтах).
- Fast_charging: Наличие быстрой зарядки (да/нет).
- Screen_resolution: Разрешение экрана (в пикселях).
- Processor: Тип процессора.
- Processor_name: Наименование процессора.
Объект наблюдения: Каждый объект представляет собой отдельный мобильный телефон.
Связи между объектами: Внутри одного объекта есть взаимосвязь между характеристиками и его ценой. Например, объем оперативной памяти, емкость батареи, качество камеры и поддержка быстрой зарядки могут влиять на цену.
Бизнес-цель: Оптимизация продаж мобильных телефонов, оценка цен в зависимости от характеристик.
Эффект для бизнеса: Более точная оценка стоимости мобильных телефонов может помочь производителям предлагать конкурентоспособные цены и максимизировать прибыль.
Техническая цель: Построение модели машинного обучения для прогнозирования цены мобильного телефона на основе его характеристик.\
- Вход: Характеристики мобильного телефона (объем RAM, емкость батареи, качество камеры и т.д.).\
- Целевой признак: Цена мобильного телефона.
In [3]:
import numpy as np
import pandas as pd
from sklearn.feature_selection import mutual_info_regression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
import matplotlib.pyplot as plt
import seaborn as sns
df = pd.read_csv("data/mobile_prices.csv")
print(df.columns)
# Кодируем все строковые столбцы в числовые
label_encoders = {}
for col in df.select_dtypes(include=["object"]).columns:
le = LabelEncoder()
df[col] = le.fit_transform(df[col])
label_encoders[col] = le
# Проверка на пропуски и "зашумленные" столбцы
noisy_features = []
for col in df.columns:
if df[col].isnull().sum() / len(df) > 0.1: # Если более 10% пропусков
noisy_features.append(col)
print(f"Зашумленные столбцы: {noisy_features}")
# Проверка на смещение
skewness = df.skew()
print(f"Смещение: {skewness}")
skewed_features = skewness[abs(skewness) > 1].index.tolist()
print(f"Сильно смещенные столбцы: {skewed_features}")
# Поиск выбросов
for col in df.select_dtypes(include=["number"]).columns:
Q1 = df[col].quantile(0.25)
Q3 = df[col].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = df[col][(df[col] < lower_bound) | (df[col] > upper_bound)]
print(f"Выбросы в столбце '{col}':\n{outliers}\n")
# Визуализация выбросов
numeric_cols = df.select_dtypes(include=["number"]).columns
plt.figure(figsize=(12, 8))
for i, col in enumerate(numeric_cols, 1):
plt.subplot(len(numeric_cols) // 3 + 1, 3, i)
sns.boxplot(data=df, x=col)
plt.title(f"Boxplot for {col}")
plt.tight_layout()
plt.show()
if len(df.columns) >= 2:
for col1 in df.columns:
for col2 in df.columns:
if col1 != col2:
correlation = df[col1].corr(df[col2])
if abs(correlation) > 0.2:
print(f"Просачивание данных: Высокая корреляция ({correlation:.2f}) между столбцами '{col1}' и '{col2}'")
# Логарифмирование признака 'Battery'
df["log_Battery"] = np.log(df["Battery"] + 1)
# Заполнение пропусков
df["Battery"] = df["Battery"].fillna(df["Battery"].mean())
# Функция для разбиения на train/val/test
def split_stratified_into_train_val_test(
df_input,
stratify_colname="y",
frac_train=0.6,
frac_val=0.15,
frac_test=0.25,
random_state=None,
):
if frac_train + frac_val + frac_test != 1.0:
raise ValueError(
"fractions %f, %f, %f do not add up to 1.0"
% (frac_train, frac_val, frac_test)
)
if stratify_colname not in df_input.columns:
raise ValueError("%s is not a column in the dataframe" % (stratify_colname))
X = df_input
y = df_input[[stratify_colname]]
df_train, df_temp, y_train, y_temp = train_test_split(
X, y, stratify=y, test_size=(1.0 - frac_train), random_state=random_state
)
relative_frac_test = frac_test / (frac_val + frac_test)
df_val, df_test, y_val, y_test = train_test_split(
df_temp,
y_temp,
stratify=y_temp,
test_size=relative_frac_test,
random_state=random_state,
)
assert len(df_input) == len(df_train) + len(df_val) + len(df_test)
return df_train, df_val, df_test
# Разбиение на train/val/test
data = df[["Ram", "Price", "company"]].copy()
print("@data", data)
data = data.groupby("company").filter(
lambda x: len(x) > 4
) # убираем классы с одним элементом
df_train, df_val, df_test = split_stratified_into_train_val_test(
data, stratify_colname="company", frac_train=0.60, frac_val=0.20, frac_test=0.20
)
print("Обучающая выборка: ", df_train.shape)
print(df_train["Ram"].value_counts())
print("Контрольная выборка: ", df_val.shape)
print(df_val["Ram"].value_counts())
print("Тестовая выборка: ", df_test.shape)
print(df_test["Ram"].value_counts())
