Необходимо написать программу, которая обнаруживает и блокирует веб-роботов с помощью искусственного интеллекта

Необходимо написать программу, которая обнаруживает и блокирует веб-роботов с помощью искусственного интеллекта

План:

Для решения задачи обнаружения веб-роботов и автоматических атак с помощью машинного обучения:

1. Сбор и предобработка данных - Сбор данных

- используйте логи веб-сервера, которые содержат http-заголовки, user-agent, IP-адреса, информацию о кликах и движениях мыши.

- Удалите нерелевантные или поврежденные записи.

- Извлеките полезные признаки, такие как частота запросов, среднее время на странице, последовательность кликов, наличие/отсутствие определенных заголовков и т.д.

2. Выбор модели машинного обучения

- Классификация - Используйте алгоритмы (Наивный Байес, Случайный лес, Градиентный бустинг или Нейронные сети), для классификации активности как робота или человека.

- Непрерывное обучение - Ваша модель должна регулярно обновляться новыми данными для повышения точности.

3. Обучение и тестирование модели

- Разделите ваши данные на обучающую и тестовую выборку.

- Обучите выбранную модель на обучающей выборке.

- Проверьте эффективность модели на тестовой выборке.

4. Внедрение и мониторинг

- Интегрируйте модель с веб-сервером для реального времени анализа трафика.

- Настройте систему для автоматической блокировки IP-адресов или сессий, которые модель классифицирует как роботов.

- Регулярно мониторьте производительность системы и обновляйте модель для улучшения точности.

Датасеты можно взять здесь:

https://github.com/StopDDoS/packet-captures

https://zenodo.org/records/5199540

https://github.com/gfek/Real-CyberSecurity-Datasets/blob/main/README.md