91 lines
5.8 KiB
Markdown
91 lines
5.8 KiB
Markdown
|
||
# Лабораторная работа 7. Вариант 15
|
||
|
||
### Задание
|
||
Выбрать художественный текст (нечетные варианты – англоязычный) и обучить на нем рекуррентную нейронную сеть
|
||
для решения задачи генерации. Подобрать архитектуру и параметры так,
|
||
чтобы приблизиться к максимально осмысленному результату.
|
||
|
||
|
||
### Как запустить лабораторную работу
|
||
Для запуска программы необходимо с помощью командной строки в корневой директории файлов прокета прописать:
|
||
```
|
||
python main.py
|
||
```
|
||
### Какие технологии использовали
|
||
- Библиотека *numpy* для работы с массивами.
|
||
- Библиотека *tensorflow* - для машинного обучения. Она предоставляет инструменты для создания и обучения различных моделей машинного обучения, включая нейронные сети.
|
||
|
||
### Описание лабораторной работы
|
||
Для данной лабораторной работы был взят текст на 1596 строк текста.
|
||
|
||
```python
|
||
with open('V3001TH2.txt', 'r', encoding='utf-8') as f:
|
||
text = f.read()
|
||
```
|
||
|
||
Далее создали список уникальных символов `chars`, а также словари `char_to_index` и `index_to_char`, которые используются для преобразования символов в индексы и наоборот.
|
||
|
||
```python
|
||
chars = sorted(list(set(text)))
|
||
char_to_index = {char: index for index, char in enumerate(chars)}
|
||
index_to_char = {index: char for index, char in enumerate(chars)}
|
||
```
|
||
|
||
После чего можем генерировать ренировочные данные `train_x` и `train_y`. `train_x` содержит последовательности символов длиной `seq_length` из текста, а `train_y` содержит следующий символ после каждой входной последовательности. Каждый символ преобразуется в соответствующий индекс, используя словарь `char_to_index`.
|
||
|
||
```python
|
||
# Генерация тренировочных данных
|
||
seq_length = 100 # Длина входной последовательности
|
||
train_x = []
|
||
train_y = []
|
||
for i in range(0, text_length - seq_length, 1):
|
||
input_seq = text[i:i + seq_length]
|
||
output_seq = text[i + seq_length]
|
||
train_x.append([char_to_index[char] for char in input_seq])
|
||
train_y.append(char_to_index[output_seq])
|
||
```
|
||
|
||
Далее преобразуем `train_x` в трехмерный массив с размерностью (количество примеров, `seq_length`, 1).
|
||
Нормализуем значения `train_x` путем деления на `num_chars` и преобразуем `train_y` в `one-hot` представление с помощью `tf.keras.utils.to_categorical.`
|
||
|
||
```python
|
||
train_x = np.reshape(train_x, (len(train_x), seq_length, 1))
|
||
train_x = train_x / float(num_chars)
|
||
train_y = tf.keras.utils.to_categorical(train_y)
|
||
```
|
||
Теперь переходим к созданию модели рекуррентной нейронной сети с `LSTM` слоем, принимающим входные данные размерности `(train_x.shape[1], train_x.shape[2])` и плотным слоем с активацией softmax.
|
||
Компилируем модель с функцией потерь `categorical_crossentropy` и оптимизатором `adam`.
|
||
|
||
```python
|
||
model = tf.keras.Sequential([
|
||
tf.keras.layers.LSTM(128, input_shape=(train_x.shape[1], train_x.shape[2])),
|
||
tf.keras.layers.Dense(num_chars, activation='softmax')
|
||
])
|
||
|
||
model.compile(loss='categorical_crossentropy', optimizer='adam')
|
||
```
|
||
|
||
Обучаем модель на тренировачных данных с заданным количеством эпох - 80 и размером пакета - 128.
|
||
```
|
||
model.fit(train_x, train_y, epochs=80, batch_size=128)
|
||
```
|
||
|
||
Генерируется текст, начиная с случайного индекса `start_index` в `train_x`. Затем, на каждой итерации цикла, модель предсказывает следующий символ, добавляет его к сгенерированному тексту и обновляет `start_seq` для использования в следующей итерации.
|
||
Записывает сгенерированный текст в файл *'сгенерированный_текст.txt'*.
|
||
|
||
Результат выполнения:
|
||
|
||
```
|
||
Ih ses shven they to tore a fit oo th toie th sook a buck and tore tote a siee fot oo the searen.
|
||
Jnd buonds sore toee th the shele and thans to the siee and soans tie his and tooning tie hit cnd toens the his and croninng his bioter.
|
||
|
||
|
||
— Iod you ducking tooeeds so toieg a buck and to bor aeeut tore a sigee oo toire a ducn fo toine to see sooeee oo the saelen. Tnd blond toees the sirt and that the sooel and thai to the soeee of the shale.
|
||
|
||
|
||
"Iotk toe ffcrtes," Vincent says suth a suine and a
|
||
```
|
||
### Вывод
|
||
|
||
Текст содержит некоторые слова и фразы, которые кажутся некорректными или непонятными. Это может быть связано с недостаточным количеством обучающих данных или эпох обучения. |