Merge pull request 'basharin_sevastyan_lab_4 is ready' (#242) from basharin_sevastyan_lab_4 into main
Reviewed-on: http://student.git.athene.tech/Alexey/IIS_2023_1/pulls/242
This commit is contained in:
commit
7c9a9fae19
46023
basharin_sevastyan_lab_4/Data_pakwheels.csv
Normal file
46023
basharin_sevastyan_lab_4/Data_pakwheels.csv
Normal file
File diff suppressed because it is too large
Load Diff
110
basharin_sevastyan_lab_4/README.md
Normal file
110
basharin_sevastyan_lab_4/README.md
Normal file
@ -0,0 +1,110 @@
|
||||
## Лабораторная работа 4. Вариант 5.
|
||||
### Задание
|
||||
Использовать метод кластеризации по варианту для набора данных, самостоятельно сформулировав задачу.
|
||||
Интерпретировать результаты и оценить, насколько хорошо он подходит для решения сформулированной вами задачи.
|
||||
Алгоритм кластеризации: K-means
|
||||
|
||||
### Как запустить
|
||||
Для запуска программы необходимо с помощью командной строки в корневой директории файлов прокета прописать:
|
||||
``` python
|
||||
python main.py
|
||||
```
|
||||
|
||||
### Используемые технологии
|
||||
- Библиотека `pandas`, используемая для работы с данными для анализа scv формата.
|
||||
- `sklearn` (scikit-learn): Scikit-learn - это библиотека для машинного обучения и анализа данных в Python. Из данной библиотеки были использованы следующие модули:
|
||||
- `KMeans` - реализация алгоритма K-means для кластеризации данных.
|
||||
- `LabelEncoder` - это класс из scikit-learn, используемый для преобразования категориальных признаков (например, строки) в числовые значения.
|
||||
- `matplotlib.pyplot` - библиотека для визуализации данных, используется для построения графика метода локтя и визуализации результатов кластеризации.
|
||||
|
||||
### Описание работы
|
||||
#### Описание набора данных
|
||||
Набор данных: набор данных о цене автомобиля в автопарке.
|
||||
|
||||
Названия столбцов набора данных и их описание:
|
||||
|
||||
- Id: Уникальный идентификатор для каждого автомобиля в списке.
|
||||
- Price: Ценовой диапазон автомобилей с конкретными ценниками и подсчетами. (111000 - 77500000)
|
||||
- Company Name: Название компании-производителя автомобилей с указанием процентной доли представительства каждой компании.
|
||||
- Model Name: Название модели автомобилей с указанием процентного соотношения каждой модели.
|
||||
- Model Year: Диапазон лет выпуска автомобилей с указанием количества и процентных соотношений. (1990 - 2019)
|
||||
- Location: Местоположение автомобилей с указанием регионов, где они доступны для покупки, а также их процентное соотношение.
|
||||
- Mileage: Информация о пробеге автомобилей с указанием диапазонов пробега, количества и процентов. (1 - 999999)
|
||||
- Engine Type: Описания типов двигателей с процентными соотношениями для каждого типа.
|
||||
- Engine Capacity: Мощность двигателя варьируется в зависимости от количества и процентов. (16 - 6600)
|
||||
- Color: Цветовое распределение автомобилей с указанием процентных соотношений для каждого цвета.
|
||||
- Assembly: Импорт или местный рынок.
|
||||
- Body Type: Тип кузова.
|
||||
- Transmission Type: Тип трансмиссии.
|
||||
- Registration Status: Статус регистрации.
|
||||
|
||||
Ссылка на страницу набора на kuggle: [Ultimate Car Price Prediction Dataset](https://www.kaggle.com/datasets/mohidabdulrehman/ultimate-car-price-prediction-dataset/data)
|
||||
|
||||
#### Оцифровка и нормализация данных
|
||||
Для нормальной работы с данными, необходимо исключить из них все нечисловые значения.
|
||||
После этого, представить все строковые значения параметров как числовые и очистить датасет от "мусора".
|
||||
Для удаления нечисловых значений воспользуемся функцией `.dropna()`.
|
||||
Так же мы удаляем первый столбец `Id`, так как при открытии файла в `pd` он сам нумерует строки.
|
||||
|
||||
Все нечисловые значения мы преобразуем в числовые с помощью `LabelEncoder`:
|
||||
```python
|
||||
label_encoder = LabelEncoder()
|
||||
data['Location'] = label_encoder.fit_transform(data['Location'])
|
||||
data['Company Name'] = label_encoder.fit_transform(data['Company Name'])
|
||||
data['Model Name'] = label_encoder.fit_transform(data['Model Name'])
|
||||
data['Engine Type'] = label_encoder.fit_transform(data['Engine Type'])
|
||||
data['Color'] = label_encoder.fit_transform(data['Color'])
|
||||
data['Assembly'] = label_encoder.fit_transform(data['Assembly'])
|
||||
data['Body Type'] = label_encoder.fit_transform(data['Body Type'])
|
||||
data['Transmission Type'] = label_encoder.fit_transform(data['Transmission Type'])
|
||||
data['Registration Status'] = label_encoder.fit_transform(data['Registration Status'])
|
||||
```
|
||||
|
||||
#### Выбор признаков для кластеризации:
|
||||
```python
|
||||
features = ['Price', 'Model Year', 'Mileage', 'Engine Capacity']
|
||||
```
|
||||
Данный набор признаков был выбран, так как многие из них показали высокую важность в предыдущей лабораторной работе.
|
||||
|
||||
#### Метод локтя
|
||||
Алгоритм K-средних требует четкого задание количества кластеров. Выберем количество кластеров, используя метод локтя.
|
||||
```python
|
||||
from sklearn.cluster import KMeans
|
||||
|
||||
inertia = []
|
||||
for n_clusters in range(1, 11):
|
||||
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
|
||||
kmeans.fit(data[features])
|
||||
inertia.append(kmeans.inertia_)
|
||||
```
|
||||
В результате мы получим следующий график:
|
||||
![](elbow.png "Точность")
|
||||
Анализирую этот график, видим, что примерно на 5-6 шаге инерция меняется уже не значительно.
|
||||
Задаем значение кластеров равным 5.
|
||||
```python
|
||||
optimal_clusters = 5
|
||||
```
|
||||
|
||||
#### Применение K-means
|
||||
K-means применяется с оптимальным числом кластеров, вычисленным на предыдущем этапе.
|
||||
```python
|
||||
from sklearn.cluster import KMeans
|
||||
|
||||
kmeans = KMeans(n_clusters=optimal_clusters, random_state=42)
|
||||
data['Cluster'] = kmeans.fit_predict(data[features])
|
||||
```
|
||||
|
||||
#### Интерпретация результатов
|
||||
Для каждого кластера выводятся статистические характеристики выбранных признаков.
|
||||
![](clust1.png "Точность")
|
||||
![](clust2.png "Точность")
|
||||
|
||||
#### Визуализация результатов
|
||||
Результаты кластеризации визуализируются на графике рассеяния, например, по двум признакам.
|
||||
![](engine_clust.png "Точность")
|
||||
![](mileage_clust.png "Точность")
|
||||
|
||||
### Вывод
|
||||
На основе графиков и интерпретированных результатов можно сделать вывод, что кластеризация проведена
|
||||
верно. Коэффициент силуэта: `0.62`. Коэффициент может варьироваться от -1 до 1, можно сказать, что оценка высокая и
|
||||
метод K-means подходит для решения поставленной задачи.
|
BIN
basharin_sevastyan_lab_4/clust1.png
Normal file
BIN
basharin_sevastyan_lab_4/clust1.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 87 KiB |
BIN
basharin_sevastyan_lab_4/clust2.png
Normal file
BIN
basharin_sevastyan_lab_4/clust2.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 58 KiB |
BIN
basharin_sevastyan_lab_4/elbow.png
Normal file
BIN
basharin_sevastyan_lab_4/elbow.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 20 KiB |
BIN
basharin_sevastyan_lab_4/engine_clust.png
Normal file
BIN
basharin_sevastyan_lab_4/engine_clust.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 36 KiB |
92
basharin_sevastyan_lab_4/main.py
Normal file
92
basharin_sevastyan_lab_4/main.py
Normal file
@ -0,0 +1,92 @@
|
||||
import pandas as pd
|
||||
from sklearn.preprocessing import LabelEncoder
|
||||
from sklearn.cluster import KMeans
|
||||
from sklearn.metrics import silhouette_score
|
||||
import matplotlib.pyplot as plt
|
||||
|
||||
''' Названия столбцов набора данных и их описание:
|
||||
Id: Уникальный идентификатор для каждого автомобиля в списке.
|
||||
Price: Ценовой диапазон автомобилей с конкретными ценниками и подсчетами. (111000 - 77500000)
|
||||
Company Name: Название компании-производителя автомобилей с указанием процентной доли представительства каждой компании.
|
||||
Model Name: Название модели автомобилей с указанием процентного соотношения каждой модели.
|
||||
Model Year: Диапазон лет выпуска автомобилей с указанием количества и процентных соотношений. (1990 - 2019)
|
||||
Location: Местоположение автомобилей с указанием регионов, где они доступны для покупки, а также их процентное соотношение.
|
||||
Mileage: Информация о пробеге автомобилей с указанием диапазонов пробега, количества и процентов. (1 - 999999)
|
||||
Engine Type: Описания типов двигателей с процентными соотношениями для каждого типа.
|
||||
Engine Capacity: Мощность двигателя варьируется в зависимости от количества и процентов. (16 - 6600)
|
||||
Color: Цветовое распределение автомобилей с указанием процентных соотношений для каждого цвета.
|
||||
'''
|
||||
|
||||
|
||||
# Загрузите данные из вашей курсовой работы, предположим, что у вас есть файл CSV.
|
||||
data = pd.read_csv('Data_pakwheels.csv')
|
||||
data.pop("Id")
|
||||
|
||||
data.dropna(inplace=True) # Удаление строки с пропущенными значениями.
|
||||
|
||||
# Преобразуйте категориальные признаки в числовые. Используйте, например, one-hot encoding.
|
||||
# data = pd.get_dummies(data, columns=['Company Name', 'Model Name', 'Location', 'Engine Type', 'Color'])
|
||||
|
||||
# Создайте объект LabelEncoder
|
||||
label_encoder = LabelEncoder()
|
||||
|
||||
data['Location'] = label_encoder.fit_transform(data['Location'])
|
||||
data['Company Name'] = label_encoder.fit_transform(data['Company Name'])
|
||||
data['Model Name'] = label_encoder.fit_transform(data['Model Name'])
|
||||
data['Engine Type'] = label_encoder.fit_transform(data['Engine Type'])
|
||||
data['Color'] = label_encoder.fit_transform(data['Color'])
|
||||
data['Assembly'] = label_encoder.fit_transform(data['Assembly'])
|
||||
data['Body Type'] = label_encoder.fit_transform(data['Body Type'])
|
||||
data['Transmission Type'] = label_encoder.fit_transform(data['Transmission Type'])
|
||||
data['Registration Status'] = label_encoder.fit_transform(data['Registration Status'])
|
||||
|
||||
# Выбор признаков для кластеризации
|
||||
features = ['Price', 'Model Year', 'Mileage', 'Engine Capacity']
|
||||
|
||||
# Выбор числа кластеров с использованием метода локтя
|
||||
inertia = []
|
||||
for n_clusters in range(1, 11):
|
||||
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
|
||||
kmeans.fit(data[features])
|
||||
inertia.append(kmeans.inertia_)
|
||||
|
||||
# Визуализация метода локтя
|
||||
plt.plot(range(1, 11), inertia, marker='o')
|
||||
plt.xlabel('Number of clusters')
|
||||
plt.ylabel('Inertia')
|
||||
plt.title('Elbow Method for Optimal k')
|
||||
plt.show()
|
||||
|
||||
# Выбор оптимального числа кластеров (пример, если "локоть" находится при k=3)
|
||||
optimal_clusters = 5
|
||||
|
||||
# Применение K-means
|
||||
kmeans = KMeans(n_clusters=optimal_clusters, random_state=42)
|
||||
data['Cluster'] = kmeans.fit_predict(data[features])
|
||||
|
||||
# получение меток кластеров
|
||||
labels = kmeans.labels_
|
||||
data['Cluster'] = labels
|
||||
# оценка качества с помощью коэффициента силуэта
|
||||
silhouette = silhouette_score(data[features].values, labels)
|
||||
print(f"Коэффициент силуэта: {silhouette:.2f}")
|
||||
|
||||
# Интерпретация результатов
|
||||
for cluster_num in range(optimal_clusters):
|
||||
cluster_data = data[data['Cluster'] == cluster_num]
|
||||
print(f"\nCluster {cluster_num + 1} characteristics:")
|
||||
print(cluster_data[features].describe())
|
||||
|
||||
# Дополнительная визуализация, например, по двум признакам
|
||||
plt.scatter(data['Price'], data['Mileage'], c=data['Cluster'], cmap='viridis')
|
||||
plt.xlabel('Price')
|
||||
plt.ylabel('Mileage')
|
||||
plt.title('Clustering Results')
|
||||
plt.show()
|
||||
|
||||
# получение меток кластеров
|
||||
labels = kmeans.labels_
|
||||
data['Cluster'] = labels
|
||||
# оценка качества с помощью коэффициента силуэта
|
||||
silhouette = silhouette_score(data[features].values, labels)
|
||||
print(f"Коэффициент силуэта: {silhouette:.2f}")
|
BIN
basharin_sevastyan_lab_4/mileage_clust.png
Normal file
BIN
basharin_sevastyan_lab_4/mileage_clust.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 27 KiB |
Loading…
Reference in New Issue
Block a user