volkov_rafael_lab_7 is done
This commit is contained in:
parent
a8c58683dd
commit
e08f6555b2
87
volkov_rafael_lab_7/app.py
Normal file
87
volkov_rafael_lab_7/app.py
Normal file
@ -0,0 +1,87 @@
|
|||||||
|
import numpy as np
|
||||||
|
import tensorflow as tf
|
||||||
|
from keras.models import Sequential
|
||||||
|
from keras.layers import Embedding, LSTM, Dense
|
||||||
|
from flask import Flask, request, jsonify, render_template
|
||||||
|
|
||||||
|
def load_and_preprocess_data(file_path, seq_length=100, step=3):
|
||||||
|
with open(file_path, 'r', encoding='utf-8') as file:
|
||||||
|
text = file.read()
|
||||||
|
|
||||||
|
chars = sorted(set(text))
|
||||||
|
char_to_idx = {char: idx for idx, char in enumerate(chars)}
|
||||||
|
idx_to_char = {idx: char for idx, char in enumerate(chars)}
|
||||||
|
|
||||||
|
sequences, next_chars = [], []
|
||||||
|
|
||||||
|
for i in range(0, len(text) - seq_length, step):
|
||||||
|
seq = text[i:i + seq_length]
|
||||||
|
target = text[i + seq_length]
|
||||||
|
sequences.append(seq)
|
||||||
|
next_chars.append(target)
|
||||||
|
|
||||||
|
X = np.zeros((len(sequences), seq_length), dtype=np.int32)
|
||||||
|
y = np.zeros((len(sequences),), dtype=np.int32)
|
||||||
|
|
||||||
|
for i, seq in enumerate(sequences):
|
||||||
|
for t, char in enumerate(seq):
|
||||||
|
X[i, t] = char_to_idx[char]
|
||||||
|
y[i] = char_to_idx[next_chars[i]]
|
||||||
|
|
||||||
|
return X, y, len(chars), char_to_idx, idx_to_char
|
||||||
|
|
||||||
|
def build_model(seq_length, num_chars):
|
||||||
|
model = Sequential([
|
||||||
|
Embedding(num_chars, 50, input_length=seq_length),
|
||||||
|
LSTM(128),
|
||||||
|
Dense(num_chars, activation='softmax')
|
||||||
|
])
|
||||||
|
|
||||||
|
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
|
||||||
|
|
||||||
|
return model
|
||||||
|
|
||||||
|
def train_model(model, X, y, epochs=100, batch_size=128):
|
||||||
|
model.fit(X, y, epochs=epochs, batch_size=batch_size)
|
||||||
|
|
||||||
|
def generate_text(seed_text, model, seq_length, char_to_idx, idx_to_char, length=100, temperature=1.0):
|
||||||
|
generated_text = seed_text
|
||||||
|
for _ in range(length):
|
||||||
|
x = np.zeros((1, seq_length), dtype=np.int32)
|
||||||
|
for t, char in enumerate(seed_text):
|
||||||
|
x[0, t] = char_to_idx[char]
|
||||||
|
preds = model.predict(x, verbose=0)[0][-1]
|
||||||
|
preds = np.log(preds) / temperature
|
||||||
|
exp_preds = np.exp(preds)
|
||||||
|
preds = exp_preds / np.sum(exp_preds)
|
||||||
|
next_index = np.random.choice(len(preds), p=preds)
|
||||||
|
next_char = idx_to_char[next_index]
|
||||||
|
generated_text += next_char
|
||||||
|
seed_text = seed_text[1:] + next_char
|
||||||
|
return generated_text
|
||||||
|
|
||||||
|
def create_flask_app(model, seq_length, char_to_idx, idx_to_char):
|
||||||
|
app = Flask(__name__)
|
||||||
|
|
||||||
|
@app.route('/')
|
||||||
|
def index():
|
||||||
|
return render_template('index.html')
|
||||||
|
|
||||||
|
@app.route('/generate_text', methods=['POST'])
|
||||||
|
def generate_text_endpoint():
|
||||||
|
data = request.get_json()
|
||||||
|
seed_text = data.get('seed_text', '')
|
||||||
|
generated_text = generate_text(seed_text, model, seq_length, char_to_idx, idx_to_char)
|
||||||
|
return jsonify({'generated_text': generated_text})
|
||||||
|
|
||||||
|
return app
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
file_path = 'your_text_file.txt'
|
||||||
|
X, y, num_chars, char_to_idx, idx_to_char = load_and_preprocess_data(file_path)
|
||||||
|
seq_length = 100
|
||||||
|
model = build_model(seq_length, num_chars)
|
||||||
|
train_model(model, X, y, epochs=100, batch_size=128)
|
||||||
|
|
||||||
|
flask_app = create_flask_app(model, seq_length, char_to_idx, idx_to_char)
|
||||||
|
flask_app.run(port=5000)
|
25
volkov_rafael_lab_7/readme.md
Normal file
25
volkov_rafael_lab_7/readme.md
Normal file
@ -0,0 +1,25 @@
|
|||||||
|
Общее задание:
|
||||||
|
Выбрать художественный текст (четные варианты – русскоязычный, нечетные – англоязычный) и обучить на нем рекуррентную нейронную сеть
|
||||||
|
для решения задачи генерации. Подобрать архитектуру и параметры так,чтобы приблизиться к максимально осмысленному результату. Далее
|
||||||
|
разбиться на пары четный-нечетный вариант, обменяться разработанными сетями и проверить, как архитектура товарища справляется с вашим текстом. В завершении подобрать компромиссную архитектуру, справляющуюся достаточно хорошо с обоими видами текстов.
|
||||||
|
|
||||||
|
Задание по вариантам:
|
||||||
|
четный вариант, художественный русскоязычный текст
|
||||||
|
|
||||||
|
Запуск через файл app.py
|
||||||
|
|
||||||
|
Технологии:
|
||||||
|
|
||||||
|
Язык программирования: Python
|
||||||
|
Библиотеки: TensorFlow, Keras, Flask
|
||||||
|
Фронтенд: HTML, JavaScript
|
||||||
|
Описание работы программы:
|
||||||
|
Программа реализует генерацию текста с использованием рекуррентных нейронных сетей (RNN) с помощью библиотек TensorFlow и Keras. Flask используется для создания веб-приложения, которое взаимодействует с моделью RNN. Пользователь вводит начальный текст (seed text) через веб-интерфейс, после чего программа отправляет запрос на сервер, который в свою очередь использует модель для генерации следующего участка текста, основываясь на введенном начальном тексте.
|
||||||
|
|
||||||
|
Входные данные:
|
||||||
|
|
||||||
|
Текстовый файл (например, 'your_text_file.txt'), содержащий обучающие данные.
|
||||||
|
Веб-интерфейс для ввода начального текста.
|
||||||
|
Выходные данные:
|
||||||
|
|
||||||
|
Сгенерированный текст, отображаемый в веб-интерфейсе.
|
80
volkov_rafael_lab_7/templates/index.html
Normal file
80
volkov_rafael_lab_7/templates/index.html
Normal file
@ -0,0 +1,80 @@
|
|||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en">
|
||||||
|
<head>
|
||||||
|
<meta charset="UTF-8">
|
||||||
|
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||||
|
<title>RNN Text Generation</title>
|
||||||
|
<style>
|
||||||
|
body {
|
||||||
|
font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
|
||||||
|
text-align: center;
|
||||||
|
margin: 50px;
|
||||||
|
background-color: #f5f5f5;
|
||||||
|
}
|
||||||
|
|
||||||
|
h1 {
|
||||||
|
color: #333;
|
||||||
|
}
|
||||||
|
|
||||||
|
label {
|
||||||
|
display: block;
|
||||||
|
margin-top: 20px;
|
||||||
|
font-size: 18px;
|
||||||
|
}
|
||||||
|
|
||||||
|
#seed_text {
|
||||||
|
padding: 8px;
|
||||||
|
font-size: 16px;
|
||||||
|
width: 300px;
|
||||||
|
}
|
||||||
|
|
||||||
|
button {
|
||||||
|
background-color: #4caf50;
|
||||||
|
color: white;
|
||||||
|
padding: 10px 20px;
|
||||||
|
font-size: 16px;
|
||||||
|
border: none;
|
||||||
|
cursor: pointer;
|
||||||
|
transition: background-color 0.3s;
|
||||||
|
}
|
||||||
|
|
||||||
|
button:hover {
|
||||||
|
background-color: #45a049;
|
||||||
|
}
|
||||||
|
|
||||||
|
#output {
|
||||||
|
margin-top: 20px;
|
||||||
|
font-size: 18px;
|
||||||
|
white-space: pre-wrap;
|
||||||
|
}
|
||||||
|
</style>
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<h1>RNN Text Generation</h1>
|
||||||
|
<label for="seed_text">Seed Text:</label>
|
||||||
|
<input type="text" id="seed_text" placeholder="Enter your seed text">
|
||||||
|
<button onclick="generateText()">Generate Text</button>
|
||||||
|
<div id="output"></div>
|
||||||
|
|
||||||
|
<script>
|
||||||
|
function generateText() {
|
||||||
|
const seedText = document.getElementById("seed_text").value;
|
||||||
|
|
||||||
|
fetch('http://127.0.0.1:5000/generate_text', {
|
||||||
|
method: 'POST',
|
||||||
|
headers: {
|
||||||
|
'Content-Type': 'application/json',
|
||||||
|
},
|
||||||
|
body: JSON.stringify({ seed_text: seedText }),
|
||||||
|
})
|
||||||
|
.then(response => response.json())
|
||||||
|
.then(data => {
|
||||||
|
document.getElementById("output").innerText = data.generated_text;
|
||||||
|
})
|
||||||
|
.catch(error => {
|
||||||
|
console.error('Error:', error);
|
||||||
|
});
|
||||||
|
}
|
||||||
|
</script>
|
||||||
|
</body>
|
||||||
|
</html>
|
2413
volkov_rafael_lab_7/your_text_file.txt
Normal file
2413
volkov_rafael_lab_7/your_text_file.txt
Normal file
File diff suppressed because one or more lines are too long
Loading…
Reference in New Issue
Block a user