Проектирование систем обработки больших данных Big Data

Все тесты, от проверочных до итоговых, сданы. Общий балл - 96.

Вопрос

1.     Одна из характеристик больших данных определяет способность обработки множества типов, источников и форматов данных от сенсоров, умных устройств, социальных сетей. Также данная характеристика указывает на способность интегрировать все большее число источников, содержащих различные структурированные, полуструктурированные данные, извлекаемыми из веб-страниц, e-mail, документов и др. О какой характеристике больших данных идет речь?

2.     Аналитика больших данных в различных областях человеческой деятельности имеет разные цели. В частности, одна из целей аналитики больших данных – уменьшение стоимости лечения различных заболеваний. К какой области относится данная цель?

3.     С помощью такого вида операций над данными, как сортировка, можно переупорядочить строки в списке в соответствии с содержанием конкретных столбцов.

4.     Например, вам необходимо определить значения для критериев отбора:

5.     - Марка 1 – первая марка в списке, отсортированном по полю «владелец» в возрастающем (алфавитном) порядке.

6.     - Марка 2 – вторая марка в списке, отсортированном по полю «владелец» в возрастающем (алфавитном) порядке.

7.     Приведите технологию выполнения данного задания.

8.     Существует такой вид операций над данными, как задание критериев – точное соответствие.

9.     Например, вам необходимо определить автомобили цвета «Цвет 1» (белый) и цвета «Цвет 2» (черный).

10. Приведите технологию выполнения данного задания.

11. Если мы применяем данные для аналитической обработки и используем так называемые конвейеры данных, конечным пунктом путешествия структурированных данных будут специальные хранилища данных. Чем больше объем данных, тем больше места требуется для их хранения. Например, картинка с высоким разрешением весит намного больше, чем текстовый файл. Следовательно, неструктурированные данные требуют больше места для хранения. Где обычно хранятся неструктурированные данные?

12. Существуют различные инструменты управления неструктурированными данными. Один из таких инструментов представляет собой систему управления базами данных, которая ориентирована на документы, не требующие жесткой схемы или структуры таблиц. Данный инструмент считается одним из классических примеров NoSQL и использует документы, подобные JSON. О каком инструменте управления неструктурированными данными говорится в данном примере?

13. Существуют различные инструменты управления неструктурированными данными. Один из таких инструментов представляет собой эффективную среду с открытым исходным кодом, которая используется для обработки больших объемов данных и их хранения на недорогих обычных серверах. Это не только мощный, но и гибкий инструмент, поскольку не требует наличия схемы или структуры для хранимых данных. Он помогает структурировать неструктурированные данные и затем экспортировать их в реляционные базы данных. О каком инструменте управления неструктурированными данными говорится в данном примере?

14. Изучите приведенный ниже рисунок.

15. Реализация какой из задач машинного зрения здесь отражена?

16. Одной из задач компьютерной лингвистики является автоматическая классификация текстов, т. е. отнесение текста к той или иной области или ее подмножеству на основе некоторого алгоритма с некоторой вероятностью. Часть алгоритмов используют для этого только данные, полученные непосредственно из этого текста. Охарактеризуйте такие алгоритмы.

17. В комплексе инструментов автоматизированного анализа текстов реализованы инструменты анализа и исследования текстов на этапах морфологического, синтаксического анализа, с применением статистических методов, кроме того присутствует средство исследования полученных результатов на следующем – аналитическом – уровне. На основе инструментов комплекса созданы сервисы решения задач выделения ключевых слов, статистического анализа, классификации. Какие режимы имеет сервис классификации текстов?