💯 Нейронные сети.ои(sa) (ответы на тест Синергия / МОИ / МТИ / МосАП, январь 2024)
Основы нейронных сетей > Нейронные сети
- правильные ответы на все вопросы из теста по данной дисциплине
- вопросы отсортированы в лексикографическом порядке
Нейронные сети.ои(sa)
- Введение в нейронные сети
- Полносвязные нейронные сети
- Элементы теории оптимизации
- Обучение нейронных сетей
- Сверточные нейронные сети
- Рекуррентные нейронные сети. 1 Часть
- Рекуррентные нейронные сети. 2 Часть
- Tips and Tricks
- Pytorch
- Векторные представления слов
- Нейронные сети-трансформеры
Алгоритм Backpropagation:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Состоит в случайном подборе весов модели до тех пор, пока не будет достигнут оптимальный набор параметров, минимизирующий ошибку
- Используется только для оптимизации полносвязных нейросетей
- Последовательном вычислении градиентов по весам модели, начиная с последнего слоя, по предактивациям соответствующего слоя и градиентам по весам следующего
Архитектура полносвязной нейронные сети основана на идее
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- обобщения низкоуровневых признаков и генерирования на их основе более высокоуровневых
- Построения разделяющей гиперплоскости
- Минимизации лосс-функции без использования градиентных методов
Все описанные в лекции алгоритмы обладают общим свойством. Каким?
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Для всех требуется вычисление матрицы Гессе оптимизируемой функции
- Для всех требуется вычисление градиентов оптимизированной функции
- Для всех требуется подсчет значения оптимизируемой функции в данной точке
Градиентные методы оптимизации
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Представляют собой итерационные алгоритмы
- Аналитически ищут решение задачи оптимизации
- Вопреки названию, не используют градиенты
Задача классификации – это задача
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Обучения с учителем
- Обучения без учителя
- Обучения с подкреплением
Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Выбора семейства F
- Оценки качества выбранной функции f из семейства F
- Поиска наилучшей функции из семейства F
Идея Momentum состоит в:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Вычислении градиента в точке, к которой алгоритм должен сойтись на текущем шаге, согласно посчитанному моментному члену, а не в той точке, откуда алгоритм производит шаг
- Использовании идеи физической инерции посредством добавления моментных членов, "скоростей"
- приближенном, а значит - более быстром("моментальном") вычислении градиентов в текущей точке
Лучший способ борьбы с переобучением:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Изменение архитектуры модели
- Регуляризации
- Увеличение количества данных
Метод подбора адаптированного learning rate на основе оценки исторических градиентов:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Nesterov Momentum
- RMSProp
- Adagrad
Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- ADAM
- Adagrad
- Adadelta
Начальная инициализация весов нейросети:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Должна быть константной для того, чтобы результаты обучения нейросети на одной и той же трейнинговой выборке были воспроизводимыми
- Должна быть случайной для того, чтобы модель могла обучиться, не зануляя градиенты на определенном шаге, причем такой, что дисперсия сигнала не будет изменяться при проходе через слои нейросети.
- Может быть любой
Нейронные сети бывают следующих видов:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Полносвязные и рекуррентные
- Рекуррентные, сверточные и трансформеры
- Рекуррентные, сверточные, полносвязные и трансформеры
Нейронные сети, наиболее часто применяющиеся в CV – это
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Полносвязные
- Сверточные
- Рекуррентные
Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Минимизации средней нормы градиента эмпирического риска по весам модели
- Минимизации эмпирического риска
- Минимизации средней нормы матриц весов модели
Обучение с учителем характеризуется
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Целью обучить агента принимать оптимальные решения в среде
- Отсутствием размеченной выборки
- Наличием размеченной выборки
Отметьте верные высказывания о функциях активации:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Функция активации сигмоида лежит в диапазоне [0,1] и может быть интерпретирована как вероятность, а потому часто используется для решения задач бинарной классификации. Функция ReLU - кусочно-линейная
- Функция Leacky ReLU - всюду дифференцируема. Популярная функция активации гиперболический тангенс может быть использована, как решающая функция для задачи регрессии. Производная сигмоидальной функции не выражается аналитически через значение самой функции в данной точке
- Все функции активации взаимозаменяемы вследствие того, что имеют одну и ту же область значений и область определения
Переобучение – это эффект, возникающий при
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Излишней сложности модели по отношению к сложности обучающей выборки, из-за чего происходит “заучивание” данных
- Слишком долгом обучении модели, из-за чего она теряет свою предсказательную способность вследствие увеличения энтропии весов
- Усталости специалиста по машинному обучению от того, что его модели слишком долго учатся
При прямом проходе через Feed Forward Neural Network:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Происходит обновление весов модели на основе градиентов, посчитанных на предыдущей итерации
- Происходит выстраивание архитектуры модели посредством подбора числа слоев и их размеров
- Сигнал передается посредством последовательного матричного умножения и применения нелинейных функций активации
Производная сигмоиды выражается через саму сигмоиду аналитически, как
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- sigm’ = sigm(1 - sigm)
- sigm’ = 5sigm^(5)
- sigm’ = 100sigm/sin(sigm)
Условия Каруша-Куна-Таккера применимы для решения:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Любой задачи оптимизации
- Задачи выпуклой оптимизации
- Задачи оптимизации произвольной функции на выпуклом множестве Q
Функции активации в нейронных сетях:
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов
- Нелинейны (глобально) и вносят неоднородность в сигнал при прямом проходе
- Линейны и нужны для проверки работоспособности модели
- Активируют нейросеть в разных режимах работы
