Merge pull request 'basharin_sevastyan_lab_4 is ready' (#242) from basharin_sevastyan_lab_4 into main

Reviewed-on: http://student.git.athene.tech/Alexey/IIS_2023_1/pulls/242
This commit is contained in:
Alexey 2023-12-07 15:24:27 +04:00
commit 7c9a9fae19
8 changed files with 46225 additions and 0 deletions

File diff suppressed because it is too large Load Diff

View File

@ -0,0 +1,110 @@
## Лабораторная работа 4. Вариант 5.
### Задание
Использовать метод кластеризации по варианту для набора данных, самостоятельно сформулировав задачу.
Интерпретировать результаты и оценить, насколько хорошо он подходит для решения сформулированной вами задачи.
Алгоритм кластеризации: K-means
### Как запустить
Для запуска программы необходимо с помощью командной строки в корневой директории файлов прокета прописать:
``` python
python main.py
```
### Используемые технологии
- Библиотека `pandas`, используемая для работы с данными для анализа scv формата.
- `sklearn` (scikit-learn): Scikit-learn - это библиотека для машинного обучения и анализа данных в Python. Из данной библиотеки были использованы следующие модули:
- `KMeans` - реализация алгоритма K-means для кластеризации данных.
- `LabelEncoder` - это класс из scikit-learn, используемый для преобразования категориальных признаков (например, строки) в числовые значения.
- `matplotlib.pyplot` - библиотека для визуализации данных, используется для построения графика метода локтя и визуализации результатов кластеризации.
### Описание работы
#### Описание набора данных
Набор данных: набор данных о цене автомобиля в автопарке.
Названия столбцов набора данных и их описание:
- Id: Уникальный идентификатор для каждого автомобиля в списке.
- Price: Ценовой диапазон автомобилей с конкретными ценниками и подсчетами. (111000 - 77500000)
- Company Name: Название компании-производителя автомобилей с указанием процентной доли представительства каждой компании.
- Model Name: Название модели автомобилей с указанием процентного соотношения каждой модели.
- Model Year: Диапазон лет выпуска автомобилей с указанием количества и процентных соотношений. (1990 - 2019)
- Location: Местоположение автомобилей с указанием регионов, где они доступны для покупки, а также их процентное соотношение.
- Mileage: Информация о пробеге автомобилей с указанием диапазонов пробега, количества и процентов. (1 - 999999)
- Engine Type: Описания типов двигателей с процентными соотношениями для каждого типа.
- Engine Capacity: Мощность двигателя варьируется в зависимости от количества и процентов. (16 - 6600)
- Color: Цветовое распределение автомобилей с указанием процентных соотношений для каждого цвета.
- Assembly: Импорт или местный рынок.
- Body Type: Тип кузова.
- Transmission Type: Тип трансмиссии.
- Registration Status: Статус регистрации.
Ссылка на страницу набора на kuggle: [Ultimate Car Price Prediction Dataset](https://www.kaggle.com/datasets/mohidabdulrehman/ultimate-car-price-prediction-dataset/data)
#### Оцифровка и нормализация данных
Для нормальной работы с данными, необходимо исключить из них все нечисловые значения.
После этого, представить все строковые значения параметров как числовые и очистить датасет от "мусора".
Для удаления нечисловых значений воспользуемся функцией `.dropna()`.
Так же мы удаляем первый столбец `Id`, так как при открытии файла в `pd` он сам нумерует строки.
Все нечисловые значения мы преобразуем в числовые с помощью `LabelEncoder`:
```python
label_encoder = LabelEncoder()
data['Location'] = label_encoder.fit_transform(data['Location'])
data['Company Name'] = label_encoder.fit_transform(data['Company Name'])
data['Model Name'] = label_encoder.fit_transform(data['Model Name'])
data['Engine Type'] = label_encoder.fit_transform(data['Engine Type'])
data['Color'] = label_encoder.fit_transform(data['Color'])
data['Assembly'] = label_encoder.fit_transform(data['Assembly'])
data['Body Type'] = label_encoder.fit_transform(data['Body Type'])
data['Transmission Type'] = label_encoder.fit_transform(data['Transmission Type'])
data['Registration Status'] = label_encoder.fit_transform(data['Registration Status'])
```
#### Выбор признаков для кластеризации:
```python
features = ['Price', 'Model Year', 'Mileage', 'Engine Capacity']
```
Данный набор признаков был выбран, так как многие из них показали высокую важность в предыдущей лабораторной работе.
#### Метод локтя
Алгоритм K-средних требует четкого задание количества кластеров. Выберем количество кластеров, используя метод локтя.
```python
from sklearn.cluster import KMeans
inertia = []
for n_clusters in range(1, 11):
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
kmeans.fit(data[features])
inertia.append(kmeans.inertia_)
```
В результате мы получим следующий график:
![](elbow.png "Точность")
Анализирую этот график, видим, что примерно на 5-6 шаге инерция меняется уже не значительно.
Задаем значение кластеров равным 5.
```python
optimal_clusters = 5
```
#### Применение K-means
K-means применяется с оптимальным числом кластеров, вычисленным на предыдущем этапе.
```python
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=optimal_clusters, random_state=42)
data['Cluster'] = kmeans.fit_predict(data[features])
```
#### Интерпретация результатов
Для каждого кластера выводятся статистические характеристики выбранных признаков.
![](clust1.png "Точность")
![](clust2.png "Точность")
#### Визуализация результатов
Результаты кластеризации визуализируются на графике рассеяния, например, по двум признакам.
![](engine_clust.png "Точность")
![](mileage_clust.png "Точность")
### Вывод
На основе графиков и интерпретированных результатов можно сделать вывод, что кластеризация проведена
верно. Коэффициент силуэта: `0.62`. Коэффициент может варьироваться от -1 до 1, можно сказать, что оценка высокая и
метод K-means подходит для решения поставленной задачи.

Binary file not shown.

After

Width:  |  Height:  |  Size: 87 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 58 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 20 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 36 KiB

View File

@ -0,0 +1,92 @@
import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
''' Названия столбцов набора данных и их описание:
Id: Уникальный идентификатор для каждого автомобиля в списке.
Price: Ценовой диапазон автомобилей с конкретными ценниками и подсчетами. (111000 - 77500000)
Company Name: Название компании-производителя автомобилей с указанием процентной доли представительства каждой компании.
Model Name: Название модели автомобилей с указанием процентного соотношения каждой модели.
Model Year: Диапазон лет выпуска автомобилей с указанием количества и процентных соотношений. (1990 - 2019)
Location: Местоположение автомобилей с указанием регионов, где они доступны для покупки, а также их процентное соотношение.
Mileage: Информация о пробеге автомобилей с указанием диапазонов пробега, количества и процентов. (1 - 999999)
Engine Type: Описания типов двигателей с процентными соотношениями для каждого типа.
Engine Capacity: Мощность двигателя варьируется в зависимости от количества и процентов. (16 - 6600)
Color: Цветовое распределение автомобилей с указанием процентных соотношений для каждого цвета.
'''
# Загрузите данные из вашей курсовой работы, предположим, что у вас есть файл CSV.
data = pd.read_csv('Data_pakwheels.csv')
data.pop("Id")
data.dropna(inplace=True) # Удаление строки с пропущенными значениями.
# Преобразуйте категориальные признаки в числовые. Используйте, например, one-hot encoding.
# data = pd.get_dummies(data, columns=['Company Name', 'Model Name', 'Location', 'Engine Type', 'Color'])
# Создайте объект LabelEncoder
label_encoder = LabelEncoder()
data['Location'] = label_encoder.fit_transform(data['Location'])
data['Company Name'] = label_encoder.fit_transform(data['Company Name'])
data['Model Name'] = label_encoder.fit_transform(data['Model Name'])
data['Engine Type'] = label_encoder.fit_transform(data['Engine Type'])
data['Color'] = label_encoder.fit_transform(data['Color'])
data['Assembly'] = label_encoder.fit_transform(data['Assembly'])
data['Body Type'] = label_encoder.fit_transform(data['Body Type'])
data['Transmission Type'] = label_encoder.fit_transform(data['Transmission Type'])
data['Registration Status'] = label_encoder.fit_transform(data['Registration Status'])
# Выбор признаков для кластеризации
features = ['Price', 'Model Year', 'Mileage', 'Engine Capacity']
# Выбор числа кластеров с использованием метода локтя
inertia = []
for n_clusters in range(1, 11):
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
kmeans.fit(data[features])
inertia.append(kmeans.inertia_)
# Визуализация метода локтя
plt.plot(range(1, 11), inertia, marker='o')
plt.xlabel('Number of clusters')
plt.ylabel('Inertia')
plt.title('Elbow Method for Optimal k')
plt.show()
# Выбор оптимального числа кластеров (пример, если "локоть" находится при k=3)
optimal_clusters = 5
# Применение K-means
kmeans = KMeans(n_clusters=optimal_clusters, random_state=42)
data['Cluster'] = kmeans.fit_predict(data[features])
# получение меток кластеров
labels = kmeans.labels_
data['Cluster'] = labels
# оценка качества с помощью коэффициента силуэта
silhouette = silhouette_score(data[features].values, labels)
print(f"Коэффициент силуэта: {silhouette:.2f}")
# Интерпретация результатов
for cluster_num in range(optimal_clusters):
cluster_data = data[data['Cluster'] == cluster_num]
print(f"\nCluster {cluster_num + 1} characteristics:")
print(cluster_data[features].describe())
# Дополнительная визуализация, например, по двум признакам
plt.scatter(data['Price'], data['Mileage'], c=data['Cluster'], cmap='viridis')
plt.xlabel('Price')
plt.ylabel('Mileage')
plt.title('Clustering Results')
plt.show()
# получение меток кластеров
labels = kmeans.labels_
data['Cluster'] = labels
# оценка качества с помощью коэффициента силуэта
silhouette = silhouette_score(data[features].values, labels)
print(f"Коэффициент силуэта: {silhouette:.2f}")

Binary file not shown.

After

Width:  |  Height:  |  Size: 27 KiB