131 lines
12 KiB
Markdown
131 lines
12 KiB
Markdown
|
|
|||
|
|
## Лабораторная работа 4. Вариант 4.
|
|||
|
|
### Задание
|
|||
|
|
Использовать метод кластеризации по варианту для данных из курсовой работы. Самостоятельно сформулировав задачу. Интерпретировать результаты и оценить, насколько хорошо он подходит для
|
|||
|
|
решения сформулированной задачи.
|
|||
|
|
|
|||
|
|
Алгоритм кластеризации:
|
|||
|
|
|
|||
|
|
- Пространственная кластеризация данных с шумом на основе плотности `DBSCAN`.
|
|||
|
|
|
|||
|
|
### Как запустить
|
|||
|
|
Для запуска программы необходимо с помощью командной строки в корневой директории файлов прокета прописать:
|
|||
|
|
```
|
|||
|
|
python main.py
|
|||
|
|
```
|
|||
|
|
После этого в папке `static` сгенерируются 3 графика, по которым оценивается результат выполнения программы.
|
|||
|
|
|
|||
|
|
### Используемые технологии
|
|||
|
|
- Библиотека `numpy`, используемая для обработки массивов данных и вычислений
|
|||
|
|
- Библиотека `pyplot`, используемая для построения графиков.
|
|||
|
|
- Библиотека `pandas`, используемая для работы с данными для анализа scv формата.
|
|||
|
|
- Библиотека `sklearn` - большой набор функционала для анализа данных. Из неё были использованы инструменты:
|
|||
|
|
- `DBSCAN` - инструмент работы с моделью "Пространственная кластеризация данных с шумом на основе плотности"
|
|||
|
|
- `metrics` - набор инструменов для оценки моделей
|
|||
|
|
- `LinearRegression` - инструмент работы с моделью "Линейная регрессия"
|
|||
|
|
|
|||
|
|
`DBSCAN` - это алгоритм кластеризации, который используется для кластеризации данных на основе плотности, что позволяет обнаруживать кластеры произвольной формы и обнаруживать выбросы (шум). `DBSCAN` может быть полезным при предварительной обработке данных перед задачей предсказания:
|
|||
|
|
- Удаление выбросов (шума): `DBSCAN` может помочь в идентификации и удалении выбросов из данных.
|
|||
|
|
- Генерация новых признаков: `DBSCAN` может быть использован для генерации новых признаков на основе кластеров.
|
|||
|
|
|
|||
|
|
### Описание работы
|
|||
|
|
#### Описание набора данных
|
|||
|
|
Набор данных - набор для определения возможности наличия ССЗ заболеваний у челоека
|
|||
|
|
|
|||
|
|
Названия столбцов набора данных и их описание:
|
|||
|
|
|
|||
|
|
* HeartDisease - Имеет ли человек ССЗ (No / Yes),
|
|||
|
|
* BMI - Индекс массы тела человека (float),
|
|||
|
|
* Smoking - Выкурил ли человек хотя бы 5 пачек сигарет за всю жизнь (No / Yes),
|
|||
|
|
* AlcoholDrinking - Сильно ли человек употребляет алкоголь (No / Yes),
|
|||
|
|
* Stroke - Был ли у человека инсульт (No / Yes),
|
|||
|
|
* PhysicalHealth - Сколько дней за последний месяц человек чувствовал себя плохо (0-30),
|
|||
|
|
* MentalHealth - Сколько дней за последний месяц человек чувствовал себя удручённо (0-30),
|
|||
|
|
* DiffWalking - Ииспытывает ли человек трудности при ходьбе (No / Yes),
|
|||
|
|
* Sex - Пол (female, male),
|
|||
|
|
* AgeCategory - Возрастная категория (18-24, 25-29, 30-34, 35-39, 40-44, 45-49, 50-54, 55-59, 60-64, 65-69, 70-74, 75-79, 80 or older),
|
|||
|
|
* Race - Национальная принадлежность человека (White, Black, Hispanic, American Indian/Alaskan Native, Asian, Other),
|
|||
|
|
* Diabetic - Был ли у человека диабет (No / Yes),
|
|||
|
|
* PhysicalActivity - Занимался ли человек спротом за последний месяц (No / Yes),
|
|||
|
|
* GenHealth - Общее самочувствие человека (Excellent, Very good, Good, Fair, Poor),
|
|||
|
|
* SleepTime - Сколько человек в среднем спит за 24 часа (0-24),
|
|||
|
|
* Asthma - Была ли у человека астма (No / Yes),
|
|||
|
|
* KidneyDisease - Было ли у человека заболевание почек (No / Yes),
|
|||
|
|
* SkinCancer - Был ли у человека рак кожи (No / Yes).
|
|||
|
|
|
|||
|
|
Ссылка на страницу набора на kuggle: [Indicators of Heart Disease](https://www.kaggle.com/datasets/kamilpytlak/personal-key-indicators-of-heart-disease/data)
|
|||
|
|
|
|||
|
|
#### Формулировка задачи
|
|||
|
|
Согласно прописанным в литературе варантам использования, `DBSCAN` может помочь в идентификации и удалении выбросов из данных, а также может быть использован для генерации новых признаков на основе кластеров. Исходя из этого сформулируем задачу:
|
|||
|
|
> "В наборе данных с помощью `DBSCAN` определить и исключить строки содержащие шум, а также сгенерировать новый признак для данных на сонове кластеров. Проверить результат через решение задачи предсказания моделью линейной регрессии на исходных и модифицированных данных"
|
|||
|
|
|
|||
|
|
#### Использование алгоритма `DBSCAN`
|
|||
|
|
Чтобы эффективно использовать алгоритм `DBSCAN` необходимо правильно определить два параметра: `eps` - радиус окрестности вокруг каждой точки и `min_samples` - минимальное количество точек, которые должны находиться в окрестности, чтобы рассматривать ее как ядро кластера.
|
|||
|
|
|
|||
|
|
Начнём с получения датасета из csv файла и признаков кластеризации:
|
|||
|
|
```python
|
|||
|
|
df = pd.read_csv(filein, sep=',').iloc[0:10000]
|
|||
|
|
x = df.drop("HeartDisease", axis=1)
|
|||
|
|
```
|
|||
|
|
> **Warning**
|
|||
|
|
>
|
|||
|
|
> Алгоритм `DBSCAN` - очень жадная по памяти программа. В худшем случае алгоритм может занимать Q(N^2) оперативной памяти устройства, поэтому исследование получится провести лишь на частичной выборке в 10000 строк данных.
|
|||
|
|
|
|||
|
|
Для нахождения оптимального значения параметра `eps` воспользуемся методом рассчёта средней плотности данных. Для этого необходимо найти суммы максимальных и минимальных значений каждого признака и взять среднее арифметическое этих двух значений:
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
eps_opt = (x.max().values.mean() + x.min().values.mean()) / 2
|
|||
|
|
```
|
|||
|
|
Оптимальное значение параметра `min_samples` будем искать эмпирически. Условимся, что нам будет достаточно разделить высе данные на 6 кластеров (пусть это будут степени риска возникновения ССЗ), но нам нельзя терять в качестве выбросов более 10% данных. Тогда мы будем варьировать параметр `min_samples` от 1 до кол-ва всех данных и закончим эксперимент при выполнении одного из указанных условий:
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
developed_data = []
|
|||
|
|
for i in range(len(x)):
|
|||
|
|
if i == 0:
|
|||
|
|
continue
|
|||
|
|
dbscan = DBSCAN(eps=eps_opt, min_samples=i)
|
|||
|
|
clusters = dbscan.fit_predict(x.values)
|
|||
|
|
if len(set(clusters)) <= 7:
|
|||
|
|
developed_data = clusters
|
|||
|
|
break
|
|||
|
|
if list(clusters).count(-1) / len(clusters) >= 0.1:
|
|||
|
|
developed_data = clusters
|
|||
|
|
break
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
Таким образом в массиве `developed_data` мы получим значение кластеров для каждй строки датасета. Добавим её как дополнительный признак.
|
|||
|
|
|
|||
|
|
График кластеров для значений датасета:
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
#### Решение задачи предсказания
|
|||
|
|
Создадим два обучающих модуля. В 1м удалим все строки с кластером `-1`, что указывает на то, что они шум и воспользуемся дополнительным признаком `DBSCAN`:
|
|||
|
|
```python
|
|||
|
|
df_mod = df.loc[df["DBSCAN"] != -1]
|
|||
|
|
x_train_mod = df_mod.drop("HeartDisease", axis=1).iloc[0:round(len(df) / 100 * 99)]
|
|||
|
|
y_train_mod = df_mod["HeartDisease"].iloc[0:round(len(df) / 100 * 99)]
|
|||
|
|
x_test_mod = df_mod.drop("HeartDisease", axis=1).iloc[round(len(df) / 100 * 99):len(df)]
|
|||
|
|
y_test_mod = df_mod["HeartDisease"].iloc[round(len(df) / 100 * 99):len(df)]
|
|||
|
|
```
|
|||
|
|
Во 2м модуле для разделения на выборки оставим исходные данные:
|
|||
|
|
```python
|
|||
|
|
x_train = df.drop(["HeartDisease", "DBSCAN"], axis=1).iloc[0:round(len(df) / 100 * 99)]
|
|||
|
|
y_train = df["HeartDisease"].iloc[0:round(len(df) / 100 * 99)]
|
|||
|
|
x_test = df.drop(["HeartDisease", "DBSCAN"], axis=1).iloc[round(len(df) / 100 * 99):len(df)]
|
|||
|
|
y_test = df["HeartDisease"].iloc[round(len(df) / 100 * 99):len(df)]
|
|||
|
|
```
|
|||
|
|
Создаим две модели регрессии и на каждой решим задачу предсказания. Вычислим ошибки и построим графики.
|
|||
|
|
|
|||
|
|
График решения задачи предсказания на модифицированных данных:
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
График решения задачи предсказания на исходных данных:
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
### Вывод
|
|||
|
|
Согласно графиком, модель, обученная на исходных данных показала результат лучше, чем модель, обученная на модифицированных данных. Получается, что на данном наборе, используя алгоритм `DBSCAN`, мы не только невероятно увеличиваем затратность памяти на обучение модели, но и отрицательно влияем на результат её работы. Это означает, что использование алгоритма на таком наборе данных абсолютно нецелесообразно.
|
|||
|
|
|
|||
|
|
Связанно это может быть с большим количеством бинарных признаков в данных. В таких случаях задачи кластеризации решаются сравнительно хуже.
|