Complete lab 2

Reviewed-on: Alexey/DAS_2024_1#33

bazunov_andrew_lab_1/.gitignore

@@ -0,0 +1,2 @@
+ollama
+./ollama

bazunov_andrew_lab_1/README.md

@@ -0,0 +1,33 @@
+# Распределенные вычисления и приложения Л1
+## _Автор Базунов Андрей Игревич ПИбд-42_
+
+В качестве сервисов были выбраны:
+- 1.Ollama (_Сервис для использования LLMs моделей_)
+- 2.Open Web Ui (_Сервис для удобного общения с моделью из сервиса Ollama_)
+- 3.Gitea (_Гит сервис_)
+
+# Docker
+
+>Перед исполнением вполняем установку docker и проверяем версию
+
+```sh
+docker-compose --version
+```
+
+>Далее производим настройку файла docker-compose.yaml и запускаем контейнер
+
+```sh
+docker-compose up -d
+```
+
+>Для завершения работы контейнера используем команду
+```sh
+docker-compose down
+```
+---
+> Замечание: после запуска контейнера, необходимо перейти в контейнер **ollamа** и выполнить установку модели [gemma2](https://ollama.com/library/gemma2:2b)
+> ```sh
+> docker-compose exec ollama ollama run ollama run gemma2:2b
+> ```
+---
+Далее можно использовать веб сервис Open Web Ui по адресу **localhost:8080** для общения с моделью и Gitea по адресу **localhost:3000** - [демонстрация работы](https://vk.com/video/@viltskaa?z=video236673313_456239574%2Fpl_236673313_-2)

bazunov_andrew_lab_1/docker-compose.yml

@@ -0,0 +1,61 @@
+services:
+  gitea: # Имя сервиса
+    image: gitea/gitea:latest # Имя образа
+    container_name: gitea # Имя контейнера, может быть произовольным
+    ports:
+      - "3000:3000"  # Проброс порта Gitea на хост
+    volumes: # хранилище
+      - data:/data
+    environment: # переменные окружения
+      USER_UID: 1000
+      USER_GID: 1000
+
+  ollama:
+    image: ollama/ollama:latest
+    container_name: ollama
+    restart: always
+    ports:
+      - 7869:11434
+    pull_policy: always
+    tty: true
+    volumes:
+      - .:/code
+      - ./ollama/ollama:/root/.ollama  # Директория для данных Ollama
+    environment:
+      - OLLAMA_KEEP_ALIVE=24h
+      - OLLAMA_HOST=0.0.0.0  # Указываем хост для API Ollama
+    networks:
+      - ollama-docker
+    command: ["serve"]  # Запускаем Ollama в режиме сервера
+
+  ollama-webui:
+    image: ghcr.io/open-webui/open-webui:main  # Образ Open Web UI
+    container_name: ollama-webui
+    restart: unless-stopped
+    volumes:
+      - ./ollama/ollama-webui:/app/backend/data
+    ports:
+      - 8080:8080  # Порт для веб-интерфейса
+    environment: # https://docs.openwebui.com/getting-started/env-configuration#default_models
+      - OLLAMA_BASE_URLS=http://host.docker.internal:7869
+      - ENV=dev
+      - WEBUI_AUTH=False
+      - WEBUI_NAME=Viltskaa AI
+      - WEBUI_URL=http://localhost:8080
+      - WEBUI_SECRET_KEY=t0p-s3cr3t
+    depends_on:
+      - ollama
+    extra_hosts:
+      - host.docker.internal:host-gateway
+    networks:
+      - ollama-docker
+
+networks:
+  ollama-docker:
+    external: false
+
+volumes:
+  ollama:
+    driver: local
+  data:
+    driver: local

bazunov_andrew_lab_2/FileCreator/Dockerfile

@@ -0,0 +1,14 @@
+# Используем официальный образ Go в качестве базового
+FROM golang:1.23
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем файлы модуля
+COPY . .
+
+# Сборка модуля
+RUN go build -o /bin/FileCreator
+
+# Запуск модуля
+CMD ["/bin/FileCreator"]

bazunov_andrew_lab_2/FileCreator/go.mod

@@ -0,0 +1 @@
+module FileCreator

bazunov_andrew_lab_2/FileCreator/main.go

@@ -0,0 +1,92 @@
+package main
+
+import (
+	"crypto/md5"
+	"encoding/hex"
+	"fmt"
+	"math/rand"
+	"os"
+	"path/filepath"
+)
+
+const DIR = "/var/data"
+
+func Exists(name string) (bool, error) {
+	_, err := os.Stat(name)
+	if os.IsNotExist(err) {
+		return false, nil
+	}
+	return err != nil, err
+}
+
+func CreateDirectory(dirs string) error {
+	if _, err := os.Stat(dirs); os.IsNotExist(err) {
+		err := os.MkdirAll(dirs, 0664)
+		if err != nil {
+			return err
+		}
+	}
+	return nil
+}
+
+func CreateFileOrOpenIfExist(name string) (*os.File, error) {
+	err := CreateDirectory(filepath.Dir(name))
+	if err != nil {
+		return nil, err
+	}
+	exists, err := Exists(name)
+	if err != nil {
+		return nil, err
+	}
+	if exists {
+		return os.OpenFile(name, os.O_WRONLY|os.O_CREATE, 0664)
+	}
+	return os.Create(name)
+}
+
+func CreateFileAndWriteData(filename string) error {
+	file, err := CreateFileOrOpenIfExist(filename)
+	if err != nil {
+		return err
+	}
+	lines := rand.Intn(1000) + 100
+
+	for i := 0; i < lines; i++ {
+		randomValueForLine := rand.Intn(1_000_000)
+		_, err = fmt.Fprintf(file, "%d\r\n", randomValueForLine)
+		if err != nil {
+			return err
+		}
+	}
+
+	err = file.Close()
+	if err != nil {
+		return err
+	}
+
+	return nil
+}
+
+func GetMD5Hash(text string) string {
+	hash := md5.Sum([]byte(text))
+	return hex.EncodeToString(hash[:])
+}
+
+func main() {
+	for i := 0; i < 10; i++ {
+		filename := fmt.Sprintf("%s/%s.txt", DIR, GetMD5Hash(fmt.Sprintf("%d", i)))
+		err := CreateFileAndWriteData(filename)
+		if err != nil {
+			fmt.Println(err)
+		} else {
+			fmt.Printf("Created file %s\n", filename)
+		}
+	}
+
+	err := CreateFileAndWriteData(DIR + "/data.txt")
+	if err != nil {
+		fmt.Println(err)
+	} else {
+		fmt.Printf("Created file %s\n", DIR+"/data.txt")
+	}
+}

bazunov_andrew_lab_2/FirstService/Dockerfile

@@ -0,0 +1,14 @@
+# Используем официальный образ Go в качестве базового
+FROM golang:1.23
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем файлы модуля
+COPY . .
+
+# Сборка модуля
+RUN go build -o /bin/FirstService
+
+# Запуск модуля
+CMD ["/bin/FirstService"]

bazunov_andrew_lab_2/FirstService/go.mod

@@ -0,0 +1 @@
+module RVIP2

bazunov_andrew_lab_2/FirstService/main.go

@@ -0,0 +1,94 @@
+package main
+
+import (
+	"fmt"
+	"os"
+)
+
+// Формирует файл /var/result/data.txt так,
+// что каждая строка файла - количество символов в именах файлов из каталога /var/data.
+
+const INPUT = "/var/data"
+const OUTPUT = "/data/result"
+
+func GetListFilesInDirectory(directory string) ([]string, error) {
+	f, err := os.Open(directory)
+	if err != nil {
+		fmt.Println(err)
+		return nil, err
+	}
+	files, err := f.Readdir(0)
+	if err != nil {
+		fmt.Println(err)
+		return nil, err
+	}
+
+	var fileNames []string
+	for _, file := range files {
+		fileName := file.Name()
+		fileNames = append(fileNames, fileName)
+	}
+	return fileNames, nil
+}
+
+func Exists(name string) (bool, error) {
+	_, err := os.Stat(name)
+	if os.IsNotExist(err) {
+		return false, nil
+	}
+	return err != nil, err
+}
+
+func CreateFileOrOpenIfExist(name string) (*os.File, error) {
+	exists, err := Exists(name)
+	if err != nil {
+		return nil, err
+	}
+	if exists {
+		return os.OpenFile(name, os.O_WRONLY|os.O_CREATE, 0664)
+	}
+	return os.Create(name)
+}
+
+func CreateFileAndWriteData(filename string, lines []string) error {
+	file, err := CreateFileOrOpenIfExist(filename)
+	if err != nil {
+		return err
+	}
+
+	for _, line := range lines {
+		_, err = fmt.Fprintf(file, line)
+		if err != nil {
+			return err
+		}
+	}
+
+	err = file.Close()
+	if err != nil {
+		return err
+	}
+
+	return nil
+}
+
+func main() {
+	filenames, err := GetListFilesInDirectory(INPUT)
+
+	if err != nil {
+		fmt.Println(err)
+		return
+	}
+
+	var lenghtOfFilenames []string
+	for _, filename := range filenames {
+		fmt.Println(filename)
+		lenghtOfFilenames = append(lenghtOfFilenames, fmt.Sprintf("%d", len(filename)))
+	}
+
+	err = CreateFileAndWriteData(OUTPUT+"/data.txt", filenames)
+	if err != nil {
+		return
+	}
+
+	fmt.Println("First Service is end.")
+}

bazunov_andrew_lab_2/README.md

@@ -0,0 +1,30 @@
+# Распределенные вычисления и приложения Л2
+## _Автор Базунов Андрей Игревич ПИбд-42_
+
+Сервисы ( _порядок исполнения сервисов соблюден_ ):
+- 1.FileCreator - (_Создание тестовых данных_)
+- 2.FirstService - (_Выполнение 1.4 варианта задания_)
+- 3.SecondService - (_Выполнение 2.2 варианта задания_)
+
+В качестве основного языка был выбран GoLang. Для каждого сервиса был создан DOCKERFILE где были прописаны условия и действия для сборки каждого из модулей
+
+# Docker
+
+>Перед исполнением вполняем установку docker и проверяем версию
+
+```sh
+docker-compose --version
+```
+
+>Далее производим настройку файла docker-compose.yaml и запускаем контейнер с сборкой образов
+
+```sh
+docker-compose up -d --build
+```
+
+>Для завершения работы контейнера используем команду
+```sh
+docker-compose down
+```
+
+[Демонстрация работы](https://vk.com/video236673313_456239575)

bazunov_andrew_lab_2/SecondService/Dockerfile

@@ -0,0 +1,14 @@
+# Используем официальный образ Go в качестве базового
+FROM golang:1.23
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем файлы модуля
+COPY . .
+
+# Сборка модуля
+RUN go build -o /bin/SecondService
+
+# Запуск модуля
+CMD ["/bin/SecondService"]

bazunov_andrew_lab_2/SecondService/go.mod

@@ -0,0 +1 @@
+module SecondService

bazunov_andrew_lab_2/SecondService/main.go

@@ -0,0 +1,79 @@
+package main
+
+import (
+	"bufio"
+	"fmt"
+	"os"
+)
+
+//Ищет наименьшее число из файла /var/data/data.txt и сохраняет его третью степень в /var/result/result.txt.
+
+const INPUT = "/var/data/data.txt"
+const OUTPUT = "/var/result/result.txt"
+
+func ReadlinesFromFile(filename string) ([]string, error) {
+	file, err := os.Open(filename)
+	if err != nil {
+		return nil, err
+	}
+
+	var output []string
+	scanner := bufio.NewScanner(file)
+	for scanner.Scan() {
+		output = append(output, scanner.Text())
+	}
+
+	err = file.Close()
+	if err != nil {
+		return nil, err
+	}
+
+	return output, nil
+}
+
+func WriteIntToFile(filename string, i int) error {
+	file, err := os.Create(filename)
+	if err != nil {
+		return err
+	}
+
+	defer func(file *os.File) {
+		err := file.Close()
+		if err != nil {
+
+		}
+	}(file)
+
+	_, err = file.WriteString(fmt.Sprintf("%d\n", i))
+	if err != nil {
+		return err
+	}
+	return nil
+}
+
+func main() {
+	lines, err := ReadlinesFromFile(INPUT)
+	if err != nil {
+		fmt.Println(err)
+	}
+
+	minValue := 0
+
+	for _, line := range lines {
+		if intValue, err := fmt.Sscanf(line, "%d", &minValue); err != nil {
+			fmt.Println(err)
+		} else {
+			if minValue >= intValue {
+				minValue = intValue
+			}
+		}
+	}
+
+	if err = WriteIntToFile(OUTPUT, minValue); err != nil {
+		return
+	} else {
+		fmt.Printf("Write %d to %s\n", minValue, OUTPUT)
+	}
+
+	fmt.Println("Second Service is end.")
+}

bazunov_andrew_lab_2/docker-compose.yaml

@@ -0,0 +1,27 @@
+services:
+  file_generate:
+    build:
+      context: ./FileCreator
+      dockerfile: Dockerfile
+    volumes:
+      - ./data:/var/data  # Монтирование локальной папки data в /var/data в контейнере
+
+  first_service:
+    build:
+      context: ./FirstService
+      dockerfile: Dockerfile
+    volumes:
+      - ./data:/var/data
+      - ./data:/var/result
+    depends_on:
+      - file_generate
+
+  second_service:
+    build:
+      context: ./SecondService
+      dockerfile: Dockerfile
+    volumes:
+      - ./data:/var/data
+      - ./data:/var/result
+    depends_on:
+      - first_service

tsukanova_irina_lab_2/.gitignore

@@ -0,0 +1,2 @@
+/.venv
+/.idea

tsukanova_irina_lab_2/README.md

@@ -0,0 +1,16 @@
+# Цуканова Ирина ПИбд-32
+# Лабораторная работа №2 - Разработка простейшего распределённого приложения  
+
+### Язык разработки приложений: Python
+
+## Выбранные варианты
+- Для программы 1: Ищет в каталоге ```/var/data``` самый большой по объёму файл и перекладывает его в ```/var/result/data.txt```. 
+- Для программы 2: Сохраняет произведение первого и последнего числа из файла ```/var/result/data.txt``` в ```/var/result/result.txt```.
+
+## Описание:
+Каждая программа лежит в своей папке, первая в worker-1, вторая в worker-2.
+В этих же папках лежат Dockerfile'ы с инструкциями по сборке. В них присутствуют комментарии для значимых строк.  
+Монтированные папки ```data``` для ```/var/data``` и ```result``` для ```/var/result```.
+
+
+## [Видео](https://drive.google.com/file/d/1eBbIDgTo3MF4EeM677EPEKgJEINekaC0/view?usp=drive_link)

tsukanova_irina_lab_2/data/file_1.txt

@@ -0,0 +1 @@
+34 905 63 92 74 9 3 25 8 0 2 4 24 452 94 6 2 4 2 65 83 73 672 47 23 21 1

tsukanova_irina_lab_2/data/file_2.txt

@@ -0,0 +1 @@
+4 9 6 320 75 348 12 75 94 63 45 23 3

tsukanova_irina_lab_2/data/file_3.txt

@@ -0,0 +1 @@
+5 34 7 9 6 43 5 768 4 23 1 3  657 534 4 3 87 6 9 8 56 37 525 5 7 3 2 65 4 86 7 295 473 254 633 4 45 2

tsukanova_irina_lab_2/docker-compose.yaml

@@ -0,0 +1,18 @@
+services:
+
+  worker_one:
+    container_name: worker_one
+    build:
+      dockerfile: ./worker-1
+    volumes:
+      - ./data:/var/data
+      - ./result:/var/result
+
+  worker_two:
+    container_name: worker_two
+    build:
+      dockerfile: ./worker-2
+    volumes:
+      - ./result:/var/result
+    depends_on:
+      - worker_one

tsukanova_irina_lab_2/result/data.txt

@@ -0,0 +1 @@
+5 34 7 9 6 43 5 768 4 23 1 3  657 534 4 3 87 6 9 8 56 37 525 5 7 3 2 65 4 86 7 295 473 254 633 4 45 2

tsukanova_irina_lab_2/result/result.txt

@@ -0,0 +1 @@
+10

tsukanova_irina_lab_2/worker-1/Dockerfile

@@ -0,0 +1,11 @@
+# Использую базовый образ Python
+FROM python:3.12-slim
+
+# Устанавливаю рабочую директорию внутри контейнера
+WORKDIR /app
+
+# Копирую все файлы в контейнер
+COPY worker_1.py .
+
+# Команда для запуска Python-скрипта
+CMD ["python", "worker_1.py"]

tsukanova_irina_lab_2/worker-1/worker_1.py

@@ -0,0 +1,27 @@
+import os
+import shutil
+
+# Ищет в каталоге /var/data самый большой по объёму файл и перекладывает его в /var/result/data.txt.
+print("start worker_1")
+dir_data = "/var/data"
+dir_res = "/var/result"
+
+if not os.path.exists(dir_data):
+    os.mkdir(dir_data)
+
+if not os.path.exists(dir_res):
+    os.mkdir(dir_res)
+
+largest_file = None
+largest_size = 0
+
+for root, dirs, files in os.walk(dir_data):
+    for file in files:
+        file_path = os.path.join(root, file)
+        file_size = os.path.getsize(file_path)
+        if file_size > largest_size:
+            largest_size = file_size
+            largest_file = file_path
+
+if largest_file:
+    shutil.copyfile(largest_file, dir_res + "/data.txt")

tsukanova_irina_lab_2/worker-2/Dockerfile

@@ -0,0 +1,11 @@
+# Использую базовый образ Python
+FROM python:3.12-slim
+
+# Устанавливаю рабочую директорию внутри контейнера
+WORKDIR /app
+
+# Копирую все файлы в контейнер
+COPY worker_2.py .
+
+# Команда для запуска Python-скрипта
+CMD ["python", "worker_2.py"]

tsukanova_irina_lab_2/worker-2/worker_2.py

@@ -0,0 +1,19 @@
+# Сохраняет произведение первого и последнего числа из файла /var/result/data.txt в /var/result/result.txt.
+
+print("start worker_2")
+
+with open('/var/result/data.txt', 'r') as f:
+    numbers = [int(num) for num in f.read().split() if num.isdigit()]
+
+if numbers:
+    first_number = numbers[0]
+    last_number = numbers[-1]
+
+    result = first_number * last_number
+
+    with open('/var/result/result.txt', 'w') as f:
+        f.write(f"{result}\n")
+
+    print(f"Получен результат - {result}")
+else:
+    print("Результат не получен. Файл не содержит чисел")