forked from Alexey/DAS_2024_1
Compare commits
13 Commits
tsukanova_
...
bogdanov_d
| Author | SHA1 | Date | |
|---|---|---|---|
| 75b118ba6e | |||
| d8441a0989 | |||
| 1213b5db3c | |||
| 8a96320fd5 | |||
| bd25930973 | |||
| 7184d6d728 | |||
|
|
6e7055efa4 | ||
|
|
9e40adc53c | ||
|
|
4a36528cc7 | ||
| ad3988e5fc | |||
| 780b4b2924 | |||
| 5047b16cde | |||
| 2b87427299 |
2
bazunov_andrew_lab_1/.gitignore
vendored
Normal file
2
bazunov_andrew_lab_1/.gitignore
vendored
Normal file
@@ -0,0 +1,2 @@
|
||||
ollama
|
||||
./ollama
|
||||
33
bazunov_andrew_lab_1/README.md
Normal file
33
bazunov_andrew_lab_1/README.md
Normal file
@@ -0,0 +1,33 @@
|
||||
# Распределенные вычисления и приложения Л1
|
||||
## _Автор Базунов Андрей Игревич ПИбд-42_
|
||||
|
||||
В качестве сервисов были выбраны:
|
||||
- 1.Ollama (_Сервис для использования LLMs моделей_)
|
||||
- 2.Open Web Ui (_Сервис для удобного общения с моделью из сервиса Ollama_)
|
||||
- 3.Gitea (_Гит сервис_)
|
||||
|
||||
# Docker
|
||||
|
||||
>Перед исполнением вполняем установку docker и проверяем версию
|
||||
|
||||
```sh
|
||||
docker-compose --version
|
||||
```
|
||||
|
||||
>Далее производим настройку файла docker-compose.yaml и запускаем контейнер
|
||||
|
||||
```sh
|
||||
docker-compose up -d
|
||||
```
|
||||
|
||||
>Для завершения работы контейнера используем команду
|
||||
```sh
|
||||
docker-compose down
|
||||
```
|
||||
---
|
||||
> Замечание: после запуска контейнера, необходимо перейти в контейнер **ollamа** и выполнить установку модели [gemma2](https://ollama.com/library/gemma2:2b)
|
||||
> ```sh
|
||||
> docker-compose exec ollama ollama run ollama run gemma2:2b
|
||||
> ```
|
||||
---
|
||||
Далее можно использовать веб сервис Open Web Ui по адресу **localhost:8080** для общения с моделью и Gitea по адресу **localhost:3000** - [демонстрация работы](https://vk.com/video/@viltskaa?z=video236673313_456239574%2Fpl_236673313_-2)
|
||||
61
bazunov_andrew_lab_1/docker-compose.yml
Normal file
61
bazunov_andrew_lab_1/docker-compose.yml
Normal file
@@ -0,0 +1,61 @@
|
||||
services:
|
||||
gitea: # Имя сервиса
|
||||
image: gitea/gitea:latest # Имя образа
|
||||
container_name: gitea # Имя контейнера, может быть произовольным
|
||||
ports:
|
||||
- "3000:3000" # Проброс порта Gitea на хост
|
||||
volumes: # хранилище
|
||||
- data:/data
|
||||
environment: # переменные окружения
|
||||
USER_UID: 1000
|
||||
USER_GID: 1000
|
||||
|
||||
ollama:
|
||||
image: ollama/ollama:latest
|
||||
container_name: ollama
|
||||
restart: always
|
||||
ports:
|
||||
- 7869:11434
|
||||
pull_policy: always
|
||||
tty: true
|
||||
volumes:
|
||||
- .:/code
|
||||
- ./ollama/ollama:/root/.ollama # Директория для данных Ollama
|
||||
environment:
|
||||
- OLLAMA_KEEP_ALIVE=24h
|
||||
- OLLAMA_HOST=0.0.0.0 # Указываем хост для API Ollama
|
||||
networks:
|
||||
- ollama-docker
|
||||
command: ["serve"] # Запускаем Ollama в режиме сервера
|
||||
|
||||
ollama-webui:
|
||||
image: ghcr.io/open-webui/open-webui:main # Образ Open Web UI
|
||||
container_name: ollama-webui
|
||||
restart: unless-stopped
|
||||
volumes:
|
||||
- ./ollama/ollama-webui:/app/backend/data
|
||||
ports:
|
||||
- 8080:8080 # Порт для веб-интерфейса
|
||||
environment: # https://docs.openwebui.com/getting-started/env-configuration#default_models
|
||||
- OLLAMA_BASE_URLS=http://host.docker.internal:7869
|
||||
- ENV=dev
|
||||
- WEBUI_AUTH=False
|
||||
- WEBUI_NAME=Viltskaa AI
|
||||
- WEBUI_URL=http://localhost:8080
|
||||
- WEBUI_SECRET_KEY=t0p-s3cr3t
|
||||
depends_on:
|
||||
- ollama
|
||||
extra_hosts:
|
||||
- host.docker.internal:host-gateway
|
||||
networks:
|
||||
- ollama-docker
|
||||
|
||||
networks:
|
||||
ollama-docker:
|
||||
external: false
|
||||
|
||||
volumes:
|
||||
ollama:
|
||||
driver: local
|
||||
data:
|
||||
driver: local
|
||||
2
bogdanov_dmitry_lab_2/.gitignore
vendored
Normal file
2
bogdanov_dmitry_lab_2/.gitignore
vendored
Normal file
@@ -0,0 +1,2 @@
|
||||
data/
|
||||
result/
|
||||
41
bogdanov_dmitry_lab_2/README.md
Normal file
41
bogdanov_dmitry_lab_2/README.md
Normal file
@@ -0,0 +1,41 @@
|
||||
# Лабораторная работа №2
|
||||
|
||||
## Богданов Дмитрий ПИбд-42
|
||||
|
||||
### Для выполнения была проделана следующая работа:
|
||||
Были написаны и развернуты 3 сервиса: генератор файлов, 2 приложения для работы с этими файлами по вариантам 2 и 1 соответственно:
|
||||
|
||||
Вариант 2 (для первого приложения):
|
||||
|
||||
```Формирует файл /var/result/data.txt из первых строк всех файлов каталога /var/data.```
|
||||
|
||||
Вариант 1 (для второго приложения):
|
||||
|
||||
```Ищет набольшее число из файла /var/data/data.txt и сохраняет его вторую степень в /var/result/result.txt.```
|
||||
|
||||
Приложения работают совместно, используя общий монтированный том для записи и получения информации:
|
||||
```
|
||||
volumes:
|
||||
- ./data:/var/data
|
||||
```
|
||||
```
|
||||
volumes:
|
||||
- ./data:/var/data
|
||||
- ./result:/var/result
|
||||
```
|
||||
```
|
||||
volumes:
|
||||
- ./result:/var/result
|
||||
```
|
||||
|
||||
|
||||
### Запуск лабораторной:
|
||||
Необходимо перейти в папку с файлом docker-compose.yaml и ввести следующую команду:
|
||||
```
|
||||
docker compose up --build
|
||||
```
|
||||
Сервис генератора сгенерирует папки data и result, где будут сгенерированы входные файлы и файл-результат их обработки соответственно.
|
||||
|
||||
## Видео с результатом запуска:
|
||||
|
||||
Видео-демонстрацию работы можно посмотреть по данной [ссылке](https://drive.google.com/file/d/1CmVZjJuMStqNFFKbsMLjw4ihTiMnR7it/view).
|
||||
7
bogdanov_dmitry_lab_2/app-1/Dockerfile
Normal file
7
bogdanov_dmitry_lab_2/app-1/Dockerfile
Normal file
@@ -0,0 +1,7 @@
|
||||
FROM python:latest
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY app.py /app/
|
||||
|
||||
CMD ["python", "app.py"]
|
||||
30
bogdanov_dmitry_lab_2/app-1/app.py
Normal file
30
bogdanov_dmitry_lab_2/app-1/app.py
Normal file
@@ -0,0 +1,30 @@
|
||||
import os
|
||||
|
||||
# Вариант 2 - Формирует файл /var/result/data.txt из первых строк всех файлов каталога /var/data.
|
||||
def solve(dir_files, dir_result, filename_result):
|
||||
# Получаем список файлов в директории
|
||||
filenames = os.listdir(dir_files)
|
||||
result = ''
|
||||
# Проходим через каждый файл
|
||||
for filename in filenames:
|
||||
filepath = os.path.join(dir_files, filename)
|
||||
file = open(filepath, "r")
|
||||
# Читаем первую строку, добавляем к результату
|
||||
result += f"{file.readline()}"
|
||||
file.close()
|
||||
|
||||
# Если директории для сохранения результата нет - создаём
|
||||
if not os.path.exists(dir_result):
|
||||
os.makedirs(dir_result)
|
||||
# Если директория с результатом не пустая - завершаем работу
|
||||
if os.listdir(dir_result):
|
||||
return
|
||||
# Пишем результат в файл
|
||||
filepath_result = os.path.join(dir_result, filename_result)
|
||||
result_file = open(filepath_result, "w")
|
||||
result_file.write(result)
|
||||
print(f"Результат записан в файл {filepath_result}")
|
||||
result_file.close()
|
||||
|
||||
if __name__ == "__main__":
|
||||
solve('/var/data', '/var/result', 'data.txt')
|
||||
7
bogdanov_dmitry_lab_2/app-2/Dockerfile
Normal file
7
bogdanov_dmitry_lab_2/app-2/Dockerfile
Normal file
@@ -0,0 +1,7 @@
|
||||
FROM python:latest
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY app.py /app/
|
||||
|
||||
CMD ["python", "app.py"]
|
||||
21
bogdanov_dmitry_lab_2/app-2/app.py
Normal file
21
bogdanov_dmitry_lab_2/app-2/app.py
Normal file
@@ -0,0 +1,21 @@
|
||||
import os
|
||||
|
||||
# Вариант 1 - Ищет набольшее число из файла /var/data/data.txt и сохраняет его вторую степень в /var/result/result.txt.
|
||||
def solve(dir_input, dir_result, filename_result):
|
||||
file_input = open(os.path.join(dir_input, 'data.txt'))
|
||||
# Считываем все числа из файла
|
||||
inputs = [int(line) for line in file_input.readlines()]
|
||||
if inputs:
|
||||
# Максимальное число
|
||||
max_num = max(inputs)
|
||||
print(f"Наибольшее число: {max_num}")
|
||||
# Возводим во 2 степень
|
||||
result = max(inputs) ** 2
|
||||
file_result = open(os.path.join(dir_result, filename_result), "w")
|
||||
# Пишем результат в файл
|
||||
file_result.write(str(result))
|
||||
print(f"Получен результат {result}")
|
||||
file_result.close()
|
||||
|
||||
if __name__ == "__main__":
|
||||
solve("/var/result", '/var/result', 'result.txt')
|
||||
7
bogdanov_dmitry_lab_2/app-generator/Dockerfile
Normal file
7
bogdanov_dmitry_lab_2/app-generator/Dockerfile
Normal file
@@ -0,0 +1,7 @@
|
||||
FROM python:latest
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY generator.py /app/
|
||||
|
||||
CMD ["python", "generate_files.py"]
|
||||
30
bogdanov_dmitry_lab_2/app-generator/generator.py
Normal file
30
bogdanov_dmitry_lab_2/app-generator/generator.py
Normal file
@@ -0,0 +1,30 @@
|
||||
import os
|
||||
import random as rnd
|
||||
import string
|
||||
|
||||
# Генератор названий файлов
|
||||
def generate_filename(l):
|
||||
return ''.join(rnd.choices(string.ascii_lowercase + string.digits, k=l)) + '.txt'
|
||||
|
||||
def generate_files(dir, num_files, num_lines):
|
||||
# Если директории для сохранения файлов нет - создаём
|
||||
if not os.path.exists(dir):
|
||||
os.makedirs(dir)
|
||||
|
||||
# Если директория для сохранения файлов не пустая - завершаем работу
|
||||
if os.listdir(dir):
|
||||
return
|
||||
|
||||
# Создание файлов
|
||||
for i in range(num_files):
|
||||
filename = generate_filename(20)
|
||||
filepath = os.path.join(dir, filename)
|
||||
|
||||
file = open(filepath, "w")
|
||||
# Запись строк в файл
|
||||
for j in range(num_lines):
|
||||
file.write(f"{rnd.randint(-1000, 1000)}\n")
|
||||
file.close()
|
||||
|
||||
if __name__ == "__main__":
|
||||
generate_files('/var/data', 50, 50)
|
||||
27
bogdanov_dmitry_lab_2/docker-compose.yaml
Normal file
27
bogdanov_dmitry_lab_2/docker-compose.yaml
Normal file
@@ -0,0 +1,27 @@
|
||||
services:
|
||||
# Генератор файлов
|
||||
generator:
|
||||
build:
|
||||
context: ./app-generator # Путь к контексту (докер файл + скрипт)
|
||||
volumes:
|
||||
- ./data:/var/data # Папка контейнера : папка локальная
|
||||
entrypoint: python generator.py # Точка входа
|
||||
|
||||
# Первое приложение
|
||||
app1:
|
||||
build:
|
||||
context: ./app-1 # Путь к контексту
|
||||
volumes:
|
||||
- ./data:/var/data # Монтирование папок
|
||||
- ./result:/var/result
|
||||
depends_on:
|
||||
- generator # Указываем, что запускается только после успешной работы сервиса generator
|
||||
|
||||
# Второе приложение, настройка аналогична сервисам выше
|
||||
app2:
|
||||
build:
|
||||
context: ./app-2
|
||||
volumes:
|
||||
- ./result:/var/result
|
||||
depends_on:
|
||||
- app1
|
||||
2
tsukanova_irina_lab_2/.gitignore
vendored
Normal file
2
tsukanova_irina_lab_2/.gitignore
vendored
Normal file
@@ -0,0 +1,2 @@
|
||||
/.venv
|
||||
/.idea
|
||||
16
tsukanova_irina_lab_2/README.md
Normal file
16
tsukanova_irina_lab_2/README.md
Normal file
@@ -0,0 +1,16 @@
|
||||
# Цуканова Ирина ПИбд-32
|
||||
# Лабораторная работа №2 - Разработка простейшего распределённого приложения
|
||||
|
||||
### Язык разработки приложений: Python
|
||||
|
||||
## Выбранные варианты
|
||||
- Для программы 1: Ищет в каталоге ```/var/data``` самый большой по объёму файл и перекладывает его в ```/var/result/data.txt```.
|
||||
- Для программы 2: Сохраняет произведение первого и последнего числа из файла ```/var/result/data.txt``` в ```/var/result/result.txt```.
|
||||
|
||||
## Описание:
|
||||
Каждая программа лежит в своей папке, первая в worker-1, вторая в worker-2.
|
||||
В этих же папках лежат Dockerfile'ы с инструкциями по сборке. В них присутствуют комментарии для значимых строк.
|
||||
Монтированные папки ```data``` для ```/var/data``` и ```result``` для ```/var/result```.
|
||||
|
||||
|
||||
## [Видео](https://drive.google.com/file/d/1eBbIDgTo3MF4EeM677EPEKgJEINekaC0/view?usp=drive_link)
|
||||
1
tsukanova_irina_lab_2/data/file_1.txt
Normal file
1
tsukanova_irina_lab_2/data/file_1.txt
Normal file
@@ -0,0 +1 @@
|
||||
34 905 63 92 74 9 3 25 8 0 2 4 24 452 94 6 2 4 2 65 83 73 672 47 23 21 1
|
||||
1
tsukanova_irina_lab_2/data/file_2.txt
Normal file
1
tsukanova_irina_lab_2/data/file_2.txt
Normal file
@@ -0,0 +1 @@
|
||||
4 9 6 320 75 348 12 75 94 63 45 23 3
|
||||
1
tsukanova_irina_lab_2/data/file_3.txt
Normal file
1
tsukanova_irina_lab_2/data/file_3.txt
Normal file
@@ -0,0 +1 @@
|
||||
5 34 7 9 6 43 5 768 4 23 1 3 657 534 4 3 87 6 9 8 56 37 525 5 7 3 2 65 4 86 7 295 473 254 633 4 45 2
|
||||
18
tsukanova_irina_lab_2/docker-compose.yaml
Normal file
18
tsukanova_irina_lab_2/docker-compose.yaml
Normal file
@@ -0,0 +1,18 @@
|
||||
services:
|
||||
|
||||
worker_one:
|
||||
container_name: worker_one
|
||||
build:
|
||||
dockerfile: ./worker-1
|
||||
volumes:
|
||||
- ./data:/var/data
|
||||
- ./result:/var/result
|
||||
|
||||
worker_two:
|
||||
container_name: worker_two
|
||||
build:
|
||||
dockerfile: ./worker-2
|
||||
volumes:
|
||||
- ./result:/var/result
|
||||
depends_on:
|
||||
- worker_one
|
||||
1
tsukanova_irina_lab_2/result/data.txt
Normal file
1
tsukanova_irina_lab_2/result/data.txt
Normal file
@@ -0,0 +1 @@
|
||||
5 34 7 9 6 43 5 768 4 23 1 3 657 534 4 3 87 6 9 8 56 37 525 5 7 3 2 65 4 86 7 295 473 254 633 4 45 2
|
||||
1
tsukanova_irina_lab_2/result/result.txt
Normal file
1
tsukanova_irina_lab_2/result/result.txt
Normal file
@@ -0,0 +1 @@
|
||||
10
|
||||
11
tsukanova_irina_lab_2/worker-1/Dockerfile
Normal file
11
tsukanova_irina_lab_2/worker-1/Dockerfile
Normal file
@@ -0,0 +1,11 @@
|
||||
# Использую базовый образ Python
|
||||
FROM python:3.12-slim
|
||||
|
||||
# Устанавливаю рабочую директорию внутри контейнера
|
||||
WORKDIR /app
|
||||
|
||||
# Копирую все файлы в контейнер
|
||||
COPY worker_1.py .
|
||||
|
||||
# Команда для запуска Python-скрипта
|
||||
CMD ["python", "worker_1.py"]
|
||||
27
tsukanova_irina_lab_2/worker-1/worker_1.py
Normal file
27
tsukanova_irina_lab_2/worker-1/worker_1.py
Normal file
@@ -0,0 +1,27 @@
|
||||
import os
|
||||
import shutil
|
||||
|
||||
# Ищет в каталоге /var/data самый большой по объёму файл и перекладывает его в /var/result/data.txt.
|
||||
print("start worker_1")
|
||||
dir_data = "/var/data"
|
||||
dir_res = "/var/result"
|
||||
|
||||
if not os.path.exists(dir_data):
|
||||
os.mkdir(dir_data)
|
||||
|
||||
if not os.path.exists(dir_res):
|
||||
os.mkdir(dir_res)
|
||||
|
||||
largest_file = None
|
||||
largest_size = 0
|
||||
|
||||
for root, dirs, files in os.walk(dir_data):
|
||||
for file in files:
|
||||
file_path = os.path.join(root, file)
|
||||
file_size = os.path.getsize(file_path)
|
||||
if file_size > largest_size:
|
||||
largest_size = file_size
|
||||
largest_file = file_path
|
||||
|
||||
if largest_file:
|
||||
shutil.copyfile(largest_file, dir_res + "/data.txt")
|
||||
11
tsukanova_irina_lab_2/worker-2/Dockerfile
Normal file
11
tsukanova_irina_lab_2/worker-2/Dockerfile
Normal file
@@ -0,0 +1,11 @@
|
||||
# Использую базовый образ Python
|
||||
FROM python:3.12-slim
|
||||
|
||||
# Устанавливаю рабочую директорию внутри контейнера
|
||||
WORKDIR /app
|
||||
|
||||
# Копирую все файлы в контейнер
|
||||
COPY worker_2.py .
|
||||
|
||||
# Команда для запуска Python-скрипта
|
||||
CMD ["python", "worker_2.py"]
|
||||
19
tsukanova_irina_lab_2/worker-2/worker_2.py
Normal file
19
tsukanova_irina_lab_2/worker-2/worker_2.py
Normal file
@@ -0,0 +1,19 @@
|
||||
# Сохраняет произведение первого и последнего числа из файла /var/result/data.txt в /var/result/result.txt.
|
||||
|
||||
print("start worker_2")
|
||||
|
||||
with open('/var/result/data.txt', 'r') as f:
|
||||
numbers = [int(num) for num in f.read().split() if num.isdigit()]
|
||||
|
||||
if numbers:
|
||||
first_number = numbers[0]
|
||||
last_number = numbers[-1]
|
||||
|
||||
result = first_number * last_number
|
||||
|
||||
with open('/var/result/result.txt', 'w') as f:
|
||||
f.write(f"{result}\n")
|
||||
|
||||
print(f"Получен результат - {result}")
|
||||
else:
|
||||
print("Результат не получен. Файл не содержит чисел")
|
||||
Reference in New Issue
Block a user