Решение задачи формирования списка рекомендованных товаров для пользователя интернет-магазина с применением алгоритма кросс-корреляцииЗадание
Решение задачи формирования списка рекомендованных товаров для пользователя интернет-магазина с применением алгоритма кросс-корреляции /Пр/ Реализовать два алгоритма на MapReduce: Cross Correlation Pairs, Cross Correlation Stripes. Написать генератор базы данных интернет-заказов. Учесть, что заказ состоит из произвольного количества позиций (товаров).
Обработать алгоритмом кросс-корреляции базу данных заказов.
Реализовать компонент советника, не применяя паттерн MapReduce. Вводится название товара. Выводятся 10 товаров, которые чаще всего покупают с заданным товаром. Чтение результатов работы алгоритма кросс-корреляции из HDFS реализовать вручную (для Java - c помощью FileSystem API, для Python - с помощью библиотеки pyhdfs).
Обработка реляционных данных в HadoopЗадание
Обработка реляционных данных в Hadoop /Пр/ Разработать базу данных (не менее 3 сущностей). Разработать не менее 5 запросов, из них не менее 3 с применением JOIN.
Реализовать запросы на Hive и Pig. Реализовать запросы с применением паттерна MapReduce. Продемонстрировать, что результаты выполнения запросов на Hive, Pig совпадают с результатами, полученными с помощью собственной реализации MapReduce.
Реализация алгоритма ранжирования документов HITSЗадание
Реализация алгоритма ранжирования документов HITS /Пр/ Реализовать алгоритм HITS с применением паттерна MapReduce.