53 lines
3.3 KiB
Markdown
53 lines
3.3 KiB
Markdown
|
# Лабораторная работа №7. Вариант 21
|
|||
|
|
|
|||
|
|
## Тема
|
|||
|
|
|
|||
|
|
Рекуррентная нейронная сеть и задача генерации текста
|
|||
|
|
|
|||
|
|
## Задание
|
|||
|
|
|
|||
|
|
- Выбрать художественный текст и обучить на нем рекуррентную нейронную сеть для решения задачи генерации.
|
|||
|
|
|
|||
|
|
- Подобрать архитектуру и параметры так, чтобы приблизиться к максимально осмысленному результату.
|
|||
|
|
|
|||
|
|
## Используемые ресурсы
|
|||
|
|
|
|||
|
|
1. Художественный текст на английском языке ```wonderland.txt```
|
|||
|
|
|
|||
|
|
2. Python-скрипты: ```generate.py```, ```model.py```, ```train.py```.
|
|||
|
|
|
|||
|
|
## Описание работы
|
|||
|
|
|
|||
|
|
### Подготовка данных:
|
|||
|
|
В файле ```train.py``` реализована функция ```get_data```, которая загружает художественный текст, приводит его к нижнему регистру, и создает сопоставление символов числовым значениям.
|
|||
|
|
|
|||
|
|
Текст разбивается на последовательности фиксированной длины ```seq_length```, и каждая последовательность связывается с символом, следующим за ней.
|
|||
|
|
|
|||
|
|
Данные приводятся к тензорам PyTorch и нормализуются для обучения модели.
|
|||
|
|
|
|||
|
|
### Архитектура модели:
|
|||
|
|
|
|||
|
|
В файле ```model.py``` определен класс ```CharModel```, наследуемый от ```nn.Module``` и представляющий собой рекуррентную нейронную сеть.
|
|||
|
|
|
|||
|
|
Архитектура модели включает в себя один слой LSTM с размером скрытого состояния 256, слой dropout для регуляризации и линейный слой для вывода результатов.
|
|||
|
|
|
|||
|
|
### Обучение модели:
|
|||
|
|
|
|||
|
|
В файле ```train.py``` реализован скрипт для обучения модели. Выбрана оптимизация Adam, функция потерь - ```CrossEntropyLoss```.
|
|||
|
|
|
|||
|
|
Обучение происходит на GPU, если он доступен. Обучение проводится в течение нескольких эпох, с валидацией на каждой эпохе. Сохраняется лучшая модель.
|
|||
|
|
|
|||
|
|
Процесс обучения модели:
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
### Генерация текста:
|
|||
|
|
|
|||
|
|
В файле ```generate.py``` модель загружается из сохраненного состояния. Генерируется случайный промпт из исходного текста, и модель используется для предсказания следующего символа в цикле.
|
|||
|
|
|
|||
|
|
## Вывод:
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
В сгенерированном тексте можно найти осмысленные участки, поэтому можно сделать вывод, что модель действительно хорошо обучилась.
|