Методы анализа данных. Кластеризация.

Цель работы: изучение методов кластеризации.

Среда выполнения: SPSSStatistics, Statistica, Deductor, Loginom, RStudio.

Задание

1. Выбрать массив данных (рекомендуются базы по ссылкам No 3-4), описать параметры. Примечание: тип задачи «классификация», «кластеризация».

2. Провести дескриптивный анализ, оценить близость выборок к нормальной. В соответствии с результатами обосновать выбор методов кластеризации.

3. Стандартизировать переменные.

4. Изучить пример решения задачи кластеризации (ссылка No2).

5. Построить диаграммы рассеивания (составные диаграммы рассеивания, категорированные диаграммы рассеяния) по выбранным переменным. Интерпретировать результаты, оценить возможное количество кластеров.

6. Решить задачу кластеризации двумя методами (k-средних, иерархический, EM, DBSCAN, карта Кохонена и др).

7. Оценить качество построенных моделей (в т.ч. расстояние между кластерами, внутрикластерные расстояния, компактность кластеров, центры кластеров и т.д.).

8. Провести сравнительный анализ решений.

9. Исследовать влияние параметров одного из методов на качество решения, оценить полученные результаты.

10. Интерпретировать результаты.

Содержание отчета

3. Описание исходных данных.

4. Результаты дескриптивного анализа.

5. Диаграммы рассеивания.

6. Интерпретация результатов (количество кластеров).

7. Обоснование выбора методов кластеризации.

8. Параметры выбранных методов.

9. Оценка адекватности полученных решений.

10. Сравнительный анализ решений и интерпретация результатов.

11. Результаты исследования влияния параметров алгоритма на качество решения.

Список ссылок:

2. Пример решения задачи кластеризации в Statistica. http://statsoft.ru/solutions/ExamplesBase/branches/detail.php?ELEMENT_ID=1573

3. Массивы данных. https://www.kdnuggets.com/datasets/index.html

4. Массивы данных. http://archive.ics.uci.edu/ml/datasets.html