Введение в технологию Big Data

Выполните представленные нижеперечисленные задания, соблюдая в каждой задаче следующую последовательность ответа:

●   исходное условие задачи;

●   применяемые в ходе решения объекты конфигурации и тексты программ к ним;

●   промежуточные результаты;

●   выводы по полученным показателям.

Задача 1.

Разработайте программу на Python для анализа тональности текста (положительная, нейтральная, отрицательная). Используйте предварительную обработку текст и библиотеки TextBlob и NLTK для классификации.

Установите и подключите библиотеки TextBlob и NLTK. Проведите преобработку текста: токенизацию, удаление стоп-слов, лемматизацию. Проанализируйте тональность каждого из предложенных ниже текстов.

Текст 1: “Сегодня ужасный день, все пошло не так.”

Текст 2: “Я люблю Python. Это отличный язык программирования!”

Текст 3: “Все в порядке, ничего особенного.”

Задача 2.

Установите Hadoop на вашу машину или создайте кластер с несколькими виртуальными машинами. Создайте локальный текстовый файл (data.txt) с некоторым содержимым. Загрузите файл в HDFS, проверьте, что файл был загружен в HDFS, прочитайте содержимое из файла, создайте новую директорию в HDFS для хранения других файлов, скопируйте файл из одной директории в другую внутри HDFS, удалите файл из HDFS.

●     Ответ необходимо предоставить в формате скриншотов, которые будут сопровождать каждый шаг выполнения задания, в текстовом документе (Microsoft Word);