Лабораторная работа по машинному обучению по теме регрессия

В этом соревновании вам предстоит закрепить навыки владения моделями машинного обучения для Регрессии. А также визуализации данных + анализ признаков.

Для участия в Соревновании вам необходимо:

1. Пройти по ссылке на Соревнование. https://www.kaggle.com/t/316f19ffead24e5d9d730b2486bedaea либо дата сет можно увидеть тут https://drive.google.com/file/d/1A_j7fW0AtkfnlKtCtZDvsBRFbGv78u1Z/view?usp=sharing

Описание соревнования:

Вам предстоит предсказывать цену чего-то (только не известно чего). Это секрет

Дело в том что для одного из датасетов, найденных на просторах Kaggle я выполнил следующие действия

• Добавил много "мусорных" признаков
• Перевел категориальные признаки в числовые (благо они хранятся как int)
• Перемешал порядок колонок

В качестве метрики выбран Коэффициент Детерминации (r^2 score)

Поэтому перед тем как делать fit_predict вам придется сделать анализ данных и найти мусорные признаки

2. Ознакомиться с содержанием блокнота для знакомства с загрузкой данных. Рекомендуется хотя бы один раз полностью пройтись по блокноту и загрузить хотя бы базовое решение на платформу Kaggle; 

https://colab.research.google.com/drive/1QGVu1xuOfJubhhBVmGZ4GNTaQwN1K2DI?usp=sharing

3. Обучить модель машинного обучения

a. Загрузить данные соревнования (через Kaggle API или «скачав» их из Kaggle с дальнейшей загрузкой в Colab Research, что не рекомендуется т.к. 80 МБ всё же)

b. Выполнить предварительный анализ данных 

Т.е. ожидается что вы не сразу начинаете крутить fit-predict, а выполните предварительный анализ. 

Конечно условный бустинг должен "перемолоть" эту кучу данных, но мы же за объяснимый искуственный интеллект

c. Обучить модель на ваш выбор (легчайшая победа бустингов вроде)

d. Получить предварительные оценки модели с использованием кросс-валидации и/или отложенной выборки. Метрика на платформе r^2 score

4. Когда будете уверены в своей модели подготовить Итоговый файл для загрузки применив предсказание Обученной модели к Тестовым данным

5. Загрузить файл (через Kaggle API или напрямую на странницу соревнования) - в данном пункте нужно будет связаться со мной, чтобы я со своего аккаунта загрузил файл на сайт.

6. Если метрика на платформе – так себе, то пытаемся чинить в пункте 3, и повторяем пункты 4 и 5.

Система оценивания

• 10 баллов за метрику на платформе (перевод линейный в диапазоне от 0.9 (0, т.к. другие группы от этого начинали) до 0.98 (гипотетический теоретический максимум))
• 5 баллов за интересность блокнота (от просто запущенного моего baseline блокнота (0) до есть графики, анализ модели, кросс-валидация, интерпретация и т.п.). где-то тут буду штрафовать за то что потенциально не своя работа без каких-либо обозначений.
• 5 баллов за интерпретацию  признаков (трогательная история о том как вы пытались понять, а что эти признаки означают)
• 5 баллов за оформление (от как-то смогли сломать мой пример (0) до есть адекватное оформление с достаточным количеством комментариев работы (5))

Блокнот необходимо оформить

• хочется видеть структуру (Заголовки разного уровня);
• ожидается видеть не только код, но и комментарии к нему;
• не должно быть запущенных ячеек с ошибками;
• ожидается что рисунки адекватно оформлены (не маленького размера, есть описание того, что на рисунке)
• Рисунков - адекватное количество. Т.е. вы не закидываете в меня 100 графиков без каких-то комментариев. Оставьте самое полезное с т.з. сторитейлинга.
• ожидается что в блокноте – финальное решение (а не просто какая-то там итерация)