108 lines
8.8 KiB
Markdown
108 lines
8.8 KiB
Markdown
# Лабораторная работа №4
|
||
## ПИбд-42 Машкова Маргарита (Вариант 19)
|
||
## Задание
|
||
C помощью метод кластеризации DBSCAN решить задачу:
|
||
Сгруппировать телефоны по объему аккумулятора, размеру экрана, RAM и прочим показателям.
|
||
Интерпретировать результаты и оценить, насколько хорошо он подходит для решения сформулированной задачи.
|
||
|
||
### Данные:
|
||
> Датасет о характеристиках мобильных телефонов и их ценах
|
||
>
|
||
> Ссылка на датасет в kaggle: [Mobile Phone Specifications and Prices](https://www.kaggle.com/datasets/pratikgarai/mobile-phone-specifications-and-prices/data)
|
||
|
||
### Модели:
|
||
|
||
> - DBSCAN
|
||
|
||
> **Note**
|
||
>
|
||
> Метод DBSCAN позволяет получить оптимальное разбиение точек на оптимальное количество кластеров,
|
||
а также выявить атипичные объекты (шум). Оценивается при помощи метрики `Силуэт (Silhouette Score)` - насколько
|
||
плотно объекты прилегают к центру кластера. Данная метрика оценивает качество кластеризации путем
|
||
измерения среднего значения силуэта для каждой точки данных.
|
||
Значение Silhouette Score находится в диапазоне от -1 до 1, где ближе к 1 означает лучшую кластеризацию.
|
||
Высокое значение Silhouette Score указывает на хорошую разделимость кластеров,
|
||
а низкое значение может указывать на перекрывающиеся кластеры.
|
||
|
||
## Запуск программы
|
||
Для запуска программы необходимо запустить файл main.py
|
||
|
||
## Используемые технологии
|
||
> **Язык программирования:** python
|
||
>
|
||
> **Библиотеки:**
|
||
> - `pandas` - предоставляет функциональность для обработки и анализа набора данных.
|
||
> - `sklearn` - предоставляет широкий спектр инструментов для машинного обучения, статистики и анализа данных.
|
||
## Описание работы программы
|
||
|
||
### Описание набора данных
|
||
Данный набор содержит характеристики различных телефонов, в том числе их цену.
|
||
|
||
Названия столбцов набора данных и их описание:
|
||
|
||
- **Id** - идентификатор строки (int)
|
||
- **Name** - наименование телефона (string)
|
||
- **Brand** - наименование бренда телефона (string)
|
||
- **Model** - модель телефона (string)
|
||
- **Battery capacity (mAh)** - емкость аккумулятора в мАч (int)
|
||
- **Screen size (inches)** - размер экрана в дюймах по противоположным углам (float)
|
||
- **Touchscreen** - имеет телефон сенсорный экран или нет (string - Yes/No)
|
||
- **Resolution x** - разрешение телефона по ширине экрана (int)
|
||
- **Resolution y** - разрешение телефона по высоте экрана (int)
|
||
- **Processor** - количество ядер процессора (int)
|
||
- **RAM (MB)** - доступная оперативная память телефона в МБ (int)
|
||
- **Internal storage (GB)** - внутренняя память телефона в ГБ (float)
|
||
- **Rear camera** - разрешение задней камеры в МП (0, если недоступно) (float)
|
||
- **Front camera** - разрешение фронтальной камеры в МП (0, если недоступно) (float)
|
||
- **Operating system** - ОС, используемая в телефоне (string)
|
||
- **Wi-Fi** - имеет ли телефон функция Wi-Fi (string - Yes/No)
|
||
- **Bluetooth** - имеет ли телефон функцию Bluetooth (string - Yes/No)
|
||
- **GPS** - имеет ли телефон функцию GPS (string - Yes/No)
|
||
- **Number of SIMs** - количество слотов для SIM-карт в телефоне (int)
|
||
- **3G** - имеет ли телефон сетевую функкцию 3G (string - Yes/No)
|
||
- **4G/ LTE** - имеет ли телефон сетевую функкцию 4G/LTE (string - Yes/No)
|
||
- **Price** - цена телефона в индийских рупиях (int)
|
||
|
||
Первоначально данные обрабатываются: все строковые значения признаков необходимо привести к численным.
|
||
|
||
Метод не требует предварительных предположений о числе кластеров,
|
||
но нужно настроить два других параметра: `eps` и `min_samples`.
|
||
Данные параметры – это соответственно максимальное расстояние между соседними точками и минимальное число точек
|
||
в окрестности (количество соседей), когда можно говорить, что эти экземпляры данных образуют один кластер.
|
||
|
||
Далее выполняется два этапа предобработки данных:
|
||
1. Масшатабирование: Создается экземпляр класса `StandardScaler()`.
|
||
Метод `fit_transform(data)` этого класса применяется к данным, чтобы выполнить масштабирование.
|
||
Результат масштабирования сохраняется в переменной `X_scaled`.
|
||
2. Нормализация: Метод `normalize(X_scaled)` применяется к масштабированным данным `X_scaled`, чтобы выполнить нормализацию.
|
||
Результат нормализации сохраняется в переменной `X_normalized`.
|
||
|
||
Затем выполняется анализ главных компонент (PCA) на нормализованных данных и преобразование их в двумерное пространство.
|
||
Это позволяет снизить размерность данных и выделить наиболее информативные признаки.
|
||
Результат преобразования сохраняется в переменной `X_principal`.
|
||
|
||
Создается и обучается модель `dbscan` на нормализованных и масштабированных данных.
|
||
На основе всех признаков данные разбиваются на кластеры. В поле `labels` в алгоритме DBSCAN хранятся метки кластеров,
|
||
к которым были присвоены точки данных.
|
||
Каждая точка данных будет иметь свою метку, указывающую на принадлежность к определенному кластеру или на то,
|
||
что она не принадлежит ни одному кластеру и считается выбросом (кластер `-1`).
|
||
|
||
Вычисляется и выводятся в консоль количество кластеров и шумовых точек.
|
||
|
||
Качество кластеризации оценивается с помощью `silhouette_score` и выводится в консоль.
|
||
|
||
Отображается график кластеризации.
|
||
|
||
## Тесты
|
||
### Получившиеся кластеры и оценка качества кластеризации:
|
||
|
||
|
||
|
||
### График кластеризации:
|
||
|
||
|
||
|
||
Шумовые точки изображены фиолетовым цветом.
|
||
|
||
**Вывод:** исходя из полученных результатов, значение метрики "силуэт" составляет всего 2%, что указывает на низкое
|
||
качество кластеризации и перекрывающиеся кластеры. Метод кластеризации `DBSCAN` плохо работает на этих данных. |