80 lines
6.2 KiB
Markdown
80 lines
6.2 KiB
Markdown
## Задание
|
||
Рекуррентная нейронная сеть и задача генерации текста
|
||
Выбрать тексты на русском и английском языках.
|
||
Обучить нейронную сеть и подобрать параметры таким образом,
|
||
чтобы максимально приблизиться к осмысленному результату.
|
||
Интерпретировать результаты
|
||
|
||
Вариант №10
|
||
|
||
## Используемые технологии
|
||
В лабораторной были использованы библиотеки:
|
||
+ keras - используется для работы с реккурентной нейронной сетью и методами машинного обучения
|
||
+ numpy - позволяет работать с массивами и матрицами
|
||
+ Flask - предоставляет способ быстрого создания веб-страниц для визуализации работы приложения
|
||
|
||
## Используемые компоненты
|
||
+ Tokenizer - инструмент для токенизации текста, подсчитывает частоту вхождения слов
|
||
+ Sequential - предоставляет линейный набор слоев нейронной сети
|
||
+ Embedding - слой keras, который преобразует целочисленный последовательности
|
||
в плотные векторы
|
||
+ LSTM - представляет особую структуру реккурентной нейронной сети,
|
||
способную к обучению долговременными зависимостями
|
||
+ Dense - предоставляет плотные(полносвязные) слои нейросети
|
||
|
||
## Как запустить
|
||
Запустить файл flask-server, который поднимет локальный сервер
|
||
и позволит обратиться к программе через браузер по ссылке [http://127.0.0.1:5000/](http://127.0.0.1:5000/)
|
||
|
||
## Что делает программа
|
||
В зависимости от параметров в коде, обучается и генерирует русский или английский текст.
|
||
В первую очередь считанный из файла текст проходит токенизацию, строится модель нейронной сети.
|
||
Далее полученная реккурентная нейронная сеть обучается, а после генерирует 250 символов
|
||
исходя из начальной фразы
|
||
|
||
## Анализ
|
||
|
||
Наиболее качественные результаты модель предоставляет при 15 итерациях обучения.
|
||
Если итераций недостаточно, модель генерирует не слова, а одно и то же сочетание букв,
|
||
разделяя сочетания пробелами.
|
||
|
||
На 15 итерациях с текстом величиной в 3 400 знаков, время обучения составило около 5-6 часов.
|
||
Потому в программе реализованы функции сохранения и загрузки моделей, чтобы не обучать нейросетей заново,
|
||
а дообучать на тех же или новых данных.
|
||
|
||
На выбранной архитектуре сети при введении новых данных качество работы модели значительно снижалось.
|
||
При работе на одних и тех же данных выполнение 15 итераций достаточно, чтобы сеть могла генерировать
|
||
слова из текста. Однако осмысленного текста добиться не удалось. Очевидно это связано с
|
||
выбранной архитектурой, нехватке данных и недостаточном обучении. Можно сделать вывод о том,
|
||
что обучить нейросеть генерировать осмысленный текст на имеющейся аппаратуре если и возможно,
|
||
то очень затратно.
|
||
|
||
## Скриншоты работы программы
|
||
|
||
**Наилучший результат генерации русского текста.**
|
||
|
||
Генерация русского текста при достаточном обучении. Почти все сгенерированные слова являются реальными.
|
||
Однако полученный текст все же нельзя назвать осмысленным
|
||
|
||
|
||
**Остальные варианты**
|
||
|
||
Генерация русского текста при недостаточном обучении. Вместо слов создаются сочетания букв,
|
||
которые очень быстро зацикливаются.
|
||
|
||
|
||
Генерация русского текста при переобучении. Нейросеть не генерирует новый текст, она переписывает
|
||
фрагмент из обучающих данных.
|
||
|
||
|
||
В случае с английским текстом все происходит точно также.
|
||
|
||
**Наилучший результат генерации английского текста.**
|
||
|
||
Генерация английского текста при достаточном обучении. Почти все сгенерированные слова являются реальными.
|
||
Однако полученный текст все же нельзя назвать осмысленным
|
||
|
||
|
||
При генерации английских текстов зацикление происходит быстрее. Возможно
|
||
это связано с меньшим количеством используемых символов.
|
||
 |