Изучить понятие кросс-энтропии и Softmax. Исследовать нейронную сеть при заданных начальных параметрах

Лабораторная работа №8 по дисциплине “Теория информации, данные, знания” Вариант 8.

1.   Изучить понятие кросс-энтропии и Softmax.

2.   Исследовать нейронную сеть при заданных начальных параметрах:

·      Метод оптимизации: SGD

·      Число нейронов в скрытом слое n_hidden_neurons: 40

·      Шаг градиентного спуска lr: 0.01

Найти минимальное значение n_hidden_neurons, при котором сеть дает неудовлетворительные результаты, т.е. обучение невозможно.

3.   Исследовать зависимость точности распознавания от количества нейронов в скрытом слое, количества слоев, метода активации.

4.   При каком значении test_size сеть предсказывает хуже, чем Base Rate (BaseRate – это вероятность самого многочисленного класса в исходных данных)? И какой Base Rate у датасета вин? Примечание: самый многочисленный класс датасета – первый.

BaseRate = len(wine.target[wine.target == 1]) / len(wine.target)

5.   Исследовать зависимость времени обучения от размера батча.