28 lines
3.6 KiB
Markdown
28 lines
3.6 KiB
Markdown
### Задание
|
||
Использовать метод кластеризации по варианту для выбранных данных по варианту, самостоятельно сформулировав задачу.
|
||
Интерпретировать результаты и оценить, насколько хорошо он подходит для
|
||
решения сформулированной вами задачи.
|
||
|
||
Вариант 1: dendrogram
|
||
|
||
Была сформулирована следующая задача: необходимо разбить записи на кластеры в зависимости от цен и площади.
|
||
|
||
### Запуск программы
|
||
Файл lab4.py содержит и запускает программу, аргументов и настройки ~~вроде~~ не требует.
|
||
|
||
### Описание программы
|
||
Программа считывает цены и площади из файла статистики сбербанка по рынку недвижимости.
|
||
Поскольку по заданию требуется оценить машинную кластеризацию, для сравнения программа подсчитывает и выводит в консоль количество записей в каждом из выделенных вручную классов цен.
|
||
Далее программа кластеризует данные с помощью алгоритма ближайших точек (на другие памяти нету) и выводит дендрограмму на основе кластеризации.
|
||
Выводимая дендрограмма ограничена 15 последними (верхними) объединениями.
|
||
|
||
### Результаты тестирования
|
||
По результатам тестирования, можно сказать следующее:
|
||
* Последние объединения в дендрограмме - объединения выбросов с 'основным' кластером, то есть 10-20 записей с кластером с более чем 28000 записями.
|
||
* Это правильная информация, так как ручная классификация показывает, что премиальных (аномально больших) цен как раз порядка 20, остальные относятся к другим классам.
|
||
* Поскольку в имеющихся данных нет ограничений по ценам, выбросы аномально высоких цен при использовании данного алгоритма формируют отдельные кластеры, что негативно сказывается на наглядности.
|
||
* Ценовое ограничение также не дало положительнх результатов: снова сформировался 'основной' кластер, с которым последними объединялись отдельные значения.
|
||
* Значит, сам алгоритм не эффективен.
|
||
|
||
Итого: Алгоритм ближайших точек слишком чувствителен к выбросам, поэтому можно признать его неэффективным для необработанных данных. Дендрограмма как средство визуализации скорее уступает по наглядности диаграмме рассеяния.
|