Лабораторная работа по машинному обучению (NLP)

Есть лабораторная работа со следующей задачей: 

На новостном датасете я сравниваю классификаторы для задачи определения тональности текста. Идея в том, что методы по типу k-means, decision tree и SVM я реализовал через библиотеку sklearn и теперь мне необходимо реализовать нейронную сеть (сверточную или прямого распространения, хоть какую нибудь).

Текущая нейронка, которая была взята с просторов интернета не работает нормально и показывает точность в 34 процента в сравнении с 89 у SVM. 

В самой работе уже проделаны: 

1. Приведение слов к нижнему регистру,

2. Обработка знаков пунктуации,

3. Токенизация

4. Удаление стоп слов

5. Нормализация

6. Извлечение признаков c помощью FastText.

7. Классификация с классическими методами МО

8. Нейронная сеть CNN, но кривая с которой у меня проблемы. [Для чего и размещаю этот заказ]

Основная задача: построить новую нейронную сеть (на выбор:прямого распространения или сверточная), которая бы показывала релевантные результаты (полагаю не хуже SVM), с возможностью настройки гиперпараметров.

Дополнительная: Перед тем как отправлять в нейронку, реализовать аугментацию  (замена слов на синонимы, удаление слов, перестановку слов, обратный перевод на английский-французкий языки), чтобы в итоге получить сравнение резульатов с аугментацией и без.*

*Это доп. условие, необъязательное, если умеете - напишите стоимость с этой фичей и без нее.

Результат работы представляет собой: Оформленный файл ipynb где реализованна нейронная сеть с гиперпараметрами, которые можно менять + аугментация (опцонально). Расставленны комментарии как к новому написанному коду (где что находится), так и к старому: чтобы можно было сразу отправлять на проверку.

Ссылка на текущий код: https://colab.research.google.com/drive/1tJkeLdyWcq51gaJ-23VCFG4kMz9dLQ1c?usp=sharing

Датасет: https://www.kaggle.com/competitions/sentiment-analysis-in-russian/overview