Анализ данных (Администрирование ) 4 лабы

1 лаба

Разработка Spark + Sqoop программы

• Установка Docker на CentOS 7
• Сборка jar-архива со Spark-программой
• Модульные тесты для отладки Spark-программы
• Обзор скрипта развертывания docker-контейнера с HDFS
• Обзор скрипта настройки Sqoop, PostgreSQL и Spark в docker https://bitbucket.org/bdtc2020

Отчетность - файл, с последовательностью выполненных шагов, и скриншотами откликов от системы.

2 лаба

Разработка REST-приложения с Ignite-кешем

• Установка Postman на CentOS 7
• Структура SpringBoot+Ignite приложения
• Сборка и запуск приложения
• Выполнение POST/GET запросов к приложению https://bitbucket.org/bdtc2020/

Отчетность - файл, с последовательностью выполненных шагов, и скриншотами откликов от системы.

3 лаба

Docker-контейнеризация Ignite Java REST-приложения

• Упаковка REST Ignite приложения в Docker при помощи Dockerfile
• Запуск Docker-образа
• Проброс портов в Docker-контейнер
• Выполнение POST/GET запросов к контейнеризированному приложению
• Управление Docker-контейнерами
• Публикация образа в DockerHub https://bitbucket.org/bdtc2020/

Отчетность - файл, с последовательностью выполненных шагов, и скриншотами откликов от системы.

4 лаба

Автомасштабирование Ignite REST-приложения в Kubernetes

• Установка minikube на CentOS 7
• Сборка Ignite REST-приложения и публикация Docker-образа
• Развертывание Ignite REST-приложения в Kubernetes
• Развертывание: Deployment, ConfigMap, HorizontalPodAutoscaler (HPA), Service
• Использование TcpDiscoveryKubernetesIpFinder для автообнаружения новых узлов Ignite при масштабировании
• Нагрузочное тестирование проверка срабатывание HPA-триггера по памяти
• https://bitbucket.org/bdtc2020/

Отчетность - файл, с последовательностью выполненных шагов, и скриншотами откликов от системы.