Разработка WEB-приложения для мониторинга и анализа цен интернет-магазинов

Целью данной выпускной квалификационной работы является разработка прототипа web-приложения для мониторинга и анализа цен интернет-магазинов с возможностью одновременного доступа к ценам разных продуктов разных интернет-магазинов неограниченного количества пользователей, возможностью запускать анализатор цен в любой момент времени и делиться результатами анализа с другими пользователями.

На пути к реализации данного прототипа web-приложения и достижению поставленной цели представляется целесообразным решить следующий список задач:

1. Проанализировать предметную область;

2. Определить лучшие практики получения сериализуемых данных из HTML- документов;

3. Разработать алгоритм сравнения цен товаров и снятия метрик;

4. Исследовать риски и возможные проблемы массового парсинга сериализуемых данных о товарах с сайта-донора и способы минимизации данных рисков;

5. Спроектировать базу данных;

6. Реализовать механизмы авторизации, регистрации, сброса пароля пользователя и добавления товаров в избранное;

7. Реализовать пользовательский интерфейс приложения;

8. Провести функциональное тестирование системы.

Также, к задачам выпускной квалификационной работы относится развитие видения научно-практической проблемы, освоение компетенций, предусмотренных ОПОП ВО, развитие навыков планирования и организации собственной деятельности, практическое освоение методов исследования и решения прикладных задач, развитие навыков поиска и анализа информации и развитие навыков публичного выступления.

Объект исследования: интернет-магазины и особенности ценообразования товаров в интернет-магазинах.

Предмет исследования: разработка прототипа web-приложения для анализа и мониторинга цен интернет-магазинов.

К разрабатываемому web-приложению были выделены следующие

нефункциональные требования:

- Высокий уровень отказоустойчивости системы мониторинга;

- Кроссбраузерность приложения и адаптивность приложения к мобильным устройствам;

- Безопасность паролей и персональной информации пользователя при помощи RSA-шифрования;

К разрабатываемому веб-приложению были выделены следующие функциональные требования:

- Механизмы авторизации, регистрации и сброса пароля;

- Возможность добавлять товары в избранное;

- Возможность задавать URL-страницы и запускать парсинг её содержимого;

- Возможность вывода пользовательских подсказок для определенного товара с учетом динамики изменения его цены;

- Возможность вывода максимальной, минимальной и средней цены за определенный промежуток времени для каждого товара.

Выпускная квалификационная работа состоит из 4 глав.

АННОТАЦИЯ............................................................................................................ 3

ВВЕДЕНИЕ................................................................................................................ 5

Глоссарий................................................................................................................... 9

1. Практики получения сериализуемых данных из HTML-документов.................. 11

1.1. Общие методологии парсинга........................................................................ 11

1.2. Методологии отправки и чтения HTTP-запросов.......................................... 12

1.3. Способы обеспечения стабильного доступа к серверам сайтов-доноров и приемы хуманизации HTTP-запросов........................................................................... 14

1.4. Методологии анализа DOM-структуры HTML-документов.......................... 16

1.5. Валидирование полученных данных и запись в базу данных....................... 18

2. Разработка базы данных....................................................................................... 20

3. Реализация web-приложения................................................................................ 25

3.1. Используемые технологии.............................................................................. 25

3.2 Проектирование и реализация web-интерфейса.............................................. 26

4. Тестирование........................................................................................................ 35

4.1. Тестирование парсеров.................................................................................. 35

4.2. Тестирование пользовательского интерфейса............................................... 36

ЗАКЛЮЧЕНИЕ........................................................................................................ 37

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ................................................... 39

1. Айвалиотис Д. — Администрирование сервера NGINX. Подробное руководство по настройке NGINX в любой ситуации, с многочисленными примерами и справочными таблицами для всех директив. – М.: ДМК Пресс, 2017. – 288 с.

2. Джереми К. — HTML5 для веб-дизайнеров. – М.: Манн, Иванов и Фербер, 2013. – 112 с.

3. Дронов В. — Django: Практика создания Web-сайтов на Python. – СПб.: БХВ-Петербург, 2016. – 528 с.

4. Жмылёв С. — Распределённые атаки типа DDoS. – М.: LAP Lambert Academic Publishing, 2015. – 60 с.

5. Кришнамурти Б., Рексфорд Дж. — Web-протоколы. Теория и практика. HTTP/1.1, взаимодействие протоколов, кэширование, измерение трафика.

– М.: Бином, 2002. – 592 с.

6. Ригс С., Кросинг Х. — Администрирование PostgreSQL 9. Книга рецептов. – М.: ДМК Пресс, 2015. – 364 с.

7. Стоунз Р., Мэттью Н. — PostgreSQL. Основы. – М.: Символ-Плюс, 2002. – 640 с.

8. Уэсли Дж.Ч. — Python. Создание приложений. – М.: Вильямс, 2015. – 816 с.

9. Храмцов П.Б. , Брик С.А., Русак А.М., Сурин А.И. — Основы Web- технологий. – М.: Бином. Лаборатория знаний, Интернет-университет информационных технологий, 2007. – 376 с.

10. Ян С. — Криптоанализ RSA. – М.: Регулярная и хаотическая динамика, Институт компьютерных исследований, 2011. – 312 с.

11. Cochran D. — Twitter Bootstrap Web Development. – Packt Publishing, 2012. – 68 p.

12. Gourley D. — HTTP: The Definitive Guide. – 2002. – 656 p.

13. Lutz M. — Programming Python 4e. – 2011. – 1632 p.

14. McGaw J. — Beginning Django E-Commerce. –Apress, 2009. – 300p p.

15. Powers S., Peek J., O'Reilly T., Loukides M. — UNIX Power Tools. – O'Reilly Media, 2002. – 1200 p.

16. Ruse K. — Web Standards Design Guide (Internet Series). – 2005. – 365 p.