Хранилище данных

Задание 1

С использованием framework Pig и Hive выполнить следующие пункты:

1. Реализовать задачу, поставленную в статье (dataset прилагается).

2. Произвести анализ dataset и придумать не менее трех задач, использующих его.

3. Результат сформулировать в формате отчета к лабораторной работе

Тут если честно вообще ничего не понятно, если тоже не поймете то ничего страшного

Задание 2 - Реализация структуры Data Vault

1. В СУБД PostgreSQL (или другой реляционной) реализуйте структуру базы данных в соответствии с моделью 3NF. Результат представьте в виде даталогической модели и задокументированного SQL кода создания базы данных. Каждый берет свой вариант. Файл с вариантами прикреплен к заданию.

2. В СУБД PostgreSQL реализуйте структуру базы данных в соответствии с моделью Data Vault. Результат представьте в виде даталогической модели и задокументированного SQL кода создания базы данных.

Мой вариант - Система должна описывать порядок выполнения практической работы по дисциплине «СУБД».

Задание 3 - Git и GitHub

1. Установить на компьютер Git, Atom, GitHub

2. Создать собственный проект в Git (локальный) и разместить в нем код из прошлой лабораторной работы

3. Перенести проект на удаленный репозиторий и прикрепить ссылку к этой лабораторной работе.

Задание 4 - MongoDb

1. Установить Клиент и сервер MongoDb на своем компьютере. (Ссылка есть)

2. Выполнить прикрепленное задание. 

3. Скриншоты с результатами поместить в текстовый файл

Задание 5 - MongoDb

1. На основании материалов Лабораторной работы №2 (Data Vault). Создайте документную базу данных MongoDB.

2. Заполните эту базу данных несколькими документами и создайте не менее 5 отчетов по ней.

Задание 6 - MongoDB

1. Изучить материалы лекции

2. Выполнить практический пример из лекции!

3. Подготовить Map и Reduce для таблиц из предыдущей лабораторной работы. Выполнить программу.

Задание 7 - Neo4j

1. Изучите материал лекции и проделайте практические задания, приведенные в ней.

2. Нужно разработать структуру социального графа в соответствии с прикрепленной презентацией. Перечислите типы и характеристики узлов и ребер. Создайте социальный граф не менее чем из 10 узлов и 30 ребер.

Задание 8 - Вспоминаем MySQL

1. Изучите материал лекции и проделайте практические задания, приведенные в ней.

2. Нужно разработать структуру реляционной базы данных MySQL социального графа в соответствии с прикрепленной презентацией. 

3. Продумайте механизм заполнения этой базы данных 

p.s. 

На следующей лабораторной работе вам нужно будет заполнить эту базу данных. Можете воспользоваться найденным дата сетом или просто организовать генератор заполнения вашей базы данных. Главное, чтобы количество пользователей было не менее 10 000. Количество связей должно быть на порядок выше и т.д. Учтите это при выполнении данной работы!

Задание 9 - MySQL заполнение баз данных датасетами

1. Изучите материал лекции и проделайте практические задания, приведенные в ней. (Лекция 8 выше)

2. Нужно созданную базу данных MySQL заполнить датасетом. Объем датасета не менее 100 000 записей.  

4. Результат опишите в файле. Укажите возникшие проблемы при заполнении и то, как вы их решили.

Задание 10 - Neo4j заполнение баз данных датасетами

1. Изучите материал лекции и проделайте практические задания, приведенные в ней. (Лекция 8 выше)

2. Нужно созданную базу данных Neo4j заполнить тем же датасетом, который вы использовали для MySQL. 

4. Результат опишите в файле. Укажите возникшие проблемы при заполнении и то, как вы их решили.  

Произведите сравнение скорости обработки данных, как это показано в лекции.

5. Результаты сравнения приведите в таблице. Сделайте вывод.

Задание 11 - MongoDB

1. Изучить материал лекций по MongoDB

2. Произвести операции, подобные тем, которые были в лабораторных работах 1-4, но уже с СУБД MongoDB

Задание 12 - MongoDB

1. Загрузить в базу данных MongoDB (прошлое занятие) данные.

2. Проверить скорость работы и сделать сравнительный анализ скоростей работы реляционной, графовой и документной СУБД.