Complete lab 2

bazunov_andrew_lab_2/FileCreator/Dockerfile

@@ -0,0 +1,14 @@
+# Используем официальный образ Go в качестве базового
+FROM golang:1.23
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем файлы модуля
+COPY . .
+
+# Сборка модуля
+RUN go build -o /bin/FileCreator
+
+# Запуск модуля
+CMD ["/bin/FileCreator"]

bazunov_andrew_lab_2/FileCreator/go.mod

@@ -0,0 +1 @@
+module FileCreator

bazunov_andrew_lab_2/FileCreator/main.go

@@ -0,0 +1,92 @@
+package main
+
+import (
+	"crypto/md5"
+	"encoding/hex"
+	"fmt"
+	"math/rand"
+	"os"
+	"path/filepath"
+)
+
+const DIR = "/var/data"
+
+func Exists(name string) (bool, error) {
+	_, err := os.Stat(name)
+	if os.IsNotExist(err) {
+		return false, nil
+	}
+	return err != nil, err
+}
+
+func CreateDirectory(dirs string) error {
+	if _, err := os.Stat(dirs); os.IsNotExist(err) {
+		err := os.MkdirAll(dirs, 0664)
+		if err != nil {
+			return err
+		}
+	}
+	return nil
+}
+
+func CreateFileOrOpenIfExist(name string) (*os.File, error) {
+	err := CreateDirectory(filepath.Dir(name))
+	if err != nil {
+		return nil, err
+	}
+	exists, err := Exists(name)
+	if err != nil {
+		return nil, err
+	}
+	if exists {
+		return os.OpenFile(name, os.O_WRONLY|os.O_CREATE, 0664)
+	}
+	return os.Create(name)
+}
+
+func CreateFileAndWriteData(filename string) error {
+	file, err := CreateFileOrOpenIfExist(filename)
+	if err != nil {
+		return err
+	}
+	lines := rand.Intn(1000) + 100
+
+	for i := 0; i < lines; i++ {
+		randomValueForLine := rand.Intn(1_000_000)
+		_, err = fmt.Fprintf(file, "%d\r\n", randomValueForLine)
+		if err != nil {
+			return err
+		}
+	}
+
+	err = file.Close()
+	if err != nil {
+		return err
+	}
+
+	return nil
+}
+
+func GetMD5Hash(text string) string {
+	hash := md5.Sum([]byte(text))
+	return hex.EncodeToString(hash[:])
+}
+
+func main() {
+	for i := 0; i < 10; i++ {
+		filename := fmt.Sprintf("%s/%s.txt", DIR, GetMD5Hash(fmt.Sprintf("%d", i)))
+		err := CreateFileAndWriteData(filename)
+		if err != nil {
+			fmt.Println(err)
+		} else {
+			fmt.Printf("Created file %s\n", filename)
+		}
+	}
+
+	err := CreateFileAndWriteData(DIR + "/data.txt")
+	if err != nil {
+		fmt.Println(err)
+	} else {
+		fmt.Printf("Created file %s\n", DIR+"/data.txt")
+	}
+}

bazunov_andrew_lab_2/FirstService/Dockerfile

@@ -0,0 +1,14 @@
+# Используем официальный образ Go в качестве базового
+FROM golang:1.23
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем файлы модуля
+COPY . .
+
+# Сборка модуля
+RUN go build -o /bin/FirstService
+
+# Запуск модуля
+CMD ["/bin/FirstService"]

bazunov_andrew_lab_2/FirstService/go.mod

@@ -0,0 +1 @@
+module RVIP2

bazunov_andrew_lab_2/FirstService/main.go

@@ -0,0 +1,94 @@
+package main
+
+import (
+	"fmt"
+	"os"
+)
+
+// Формирует файл /var/result/data.txt так,
+// что каждая строка файла - количество символов в именах файлов из каталога /var/data.
+
+const INPUT = "/var/data"
+const OUTPUT = "/data/result"
+
+func GetListFilesInDirectory(directory string) ([]string, error) {
+	f, err := os.Open(directory)
+	if err != nil {
+		fmt.Println(err)
+		return nil, err
+	}
+	files, err := f.Readdir(0)
+	if err != nil {
+		fmt.Println(err)
+		return nil, err
+	}
+
+	var fileNames []string
+	for _, file := range files {
+		fileName := file.Name()
+		fileNames = append(fileNames, fileName)
+	}
+	return fileNames, nil
+}
+
+func Exists(name string) (bool, error) {
+	_, err := os.Stat(name)
+	if os.IsNotExist(err) {
+		return false, nil
+	}
+	return err != nil, err
+}
+
+func CreateFileOrOpenIfExist(name string) (*os.File, error) {
+	exists, err := Exists(name)
+	if err != nil {
+		return nil, err
+	}
+	if exists {
+		return os.OpenFile(name, os.O_WRONLY|os.O_CREATE, 0664)
+	}
+	return os.Create(name)
+}
+
+func CreateFileAndWriteData(filename string, lines []string) error {
+	file, err := CreateFileOrOpenIfExist(filename)
+	if err != nil {
+		return err
+	}
+
+	for _, line := range lines {
+		_, err = fmt.Fprintf(file, line)
+		if err != nil {
+			return err
+		}
+	}
+
+	err = file.Close()
+	if err != nil {
+		return err
+	}
+
+	return nil
+}
+
+func main() {
+	filenames, err := GetListFilesInDirectory(INPUT)
+
+	if err != nil {
+		fmt.Println(err)
+		return
+	}
+
+	var lenghtOfFilenames []string
+	for _, filename := range filenames {
+		fmt.Println(filename)
+		lenghtOfFilenames = append(lenghtOfFilenames, fmt.Sprintf("%d", len(filename)))
+	}
+
+	err = CreateFileAndWriteData(OUTPUT+"/data.txt", filenames)
+	if err != nil {
+		return
+	}
+
+	fmt.Println("First Service is end.")
+}

bazunov_andrew_lab_2/README.md

@@ -0,0 +1,30 @@
+# Распределенные вычисления и приложения Л2
+## _Автор Базунов Андрей Игревич ПИбд-42_
+
+Сервисы ( _порядок исполнения сервисов соблюден_ ):
+- 1.FileCreator - (_Создание тестовых данных_)
+- 2.FirstService - (_Выполнение 1.4 варианта задания_)
+- 3.SecondService - (_Выполнение 2.2 варианта задания_)
+
+В качестве основного языка был выбран GoLang. Для каждого сервиса был создан DOCKERFILE где были прописаны условия и действия для сборки каждого из модулей
+
+# Docker
+
+>Перед исполнением вполняем установку docker и проверяем версию
+
+```sh
+docker-compose --version
+```
+
+>Далее производим настройку файла docker-compose.yaml и запускаем контейнер с сборкой образов
+
+```sh
+docker-compose up -d --build
+```
+
+>Для завершения работы контейнера используем команду
+```sh
+docker-compose down
+```
+
+[Демонстрация работы](https://vk.com/video236673313_456239575)

bazunov_andrew_lab_2/SecondService/Dockerfile

@@ -0,0 +1,14 @@
+# Используем официальный образ Go в качестве базового
+FROM golang:1.23
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем файлы модуля
+COPY . .
+
+# Сборка модуля
+RUN go build -o /bin/SecondService
+
+# Запуск модуля
+CMD ["/bin/SecondService"]

bazunov_andrew_lab_2/SecondService/go.mod

@@ -0,0 +1 @@
+module SecondService

bazunov_andrew_lab_2/SecondService/main.go

@@ -0,0 +1,79 @@
+package main
+
+import (
+	"bufio"
+	"fmt"
+	"os"
+)
+
+//Ищет наименьшее число из файла /var/data/data.txt и сохраняет его третью степень в /var/result/result.txt.
+
+const INPUT = "/var/data/data.txt"
+const OUTPUT = "/var/result/result.txt"
+
+func ReadlinesFromFile(filename string) ([]string, error) {
+	file, err := os.Open(filename)
+	if err != nil {
+		return nil, err
+	}
+
+	var output []string
+	scanner := bufio.NewScanner(file)
+	for scanner.Scan() {
+		output = append(output, scanner.Text())
+	}
+
+	err = file.Close()
+	if err != nil {
+		return nil, err
+	}
+
+	return output, nil
+}
+
+func WriteIntToFile(filename string, i int) error {
+	file, err := os.Create(filename)
+	if err != nil {
+		return err
+	}
+
+	defer func(file *os.File) {
+		err := file.Close()
+		if err != nil {
+
+		}
+	}(file)
+
+	_, err = file.WriteString(fmt.Sprintf("%d\n", i))
+	if err != nil {
+		return err
+	}
+	return nil
+}
+
+func main() {
+	lines, err := ReadlinesFromFile(INPUT)
+	if err != nil {
+		fmt.Println(err)
+	}
+
+	minValue := 0
+
+	for _, line := range lines {
+		if intValue, err := fmt.Sscanf(line, "%d", &minValue); err != nil {
+			fmt.Println(err)
+		} else {
+			if minValue >= intValue {
+				minValue = intValue
+			}
+		}
+	}
+
+	if err = WriteIntToFile(OUTPUT, minValue); err != nil {
+		return
+	} else {
+		fmt.Printf("Write %d to %s\n", minValue, OUTPUT)
+	}
+
+	fmt.Println("Second Service is end.")
+}

bazunov_andrew_lab_2/docker-compose.yaml

@@ -0,0 +1,27 @@
+services:
+  file_generate:
+    build:
+      context: ./FileCreator
+      dockerfile: Dockerfile
+    volumes:
+      - ./data:/var/data  # Монтирование локальной папки data в /var/data в контейнере
+
+  first_service:
+    build:
+      context: ./FirstService
+      dockerfile: Dockerfile
+    volumes:
+      - ./data:/var/data
+      - ./data:/var/result
+    depends_on:
+      - file_generate
+
+  second_service:
+    build:
+      context: ./SecondService
+      dockerfile: Dockerfile
+    volumes:
+      - ./data:/var/data
+      - ./data:/var/result
+    depends_on:
+      - first_service

bogdanov_dmitry_lab_2/.gitignore

@@ -1,2 +0,0 @@
-data/
-result/

bogdanov_dmitry_lab_2/README.md

@@ -1,41 +0,0 @@
-# Лабораторная работа №2
-
-## Богданов Дмитрий ПИбд-42
-
-### Для выполнения была проделана следующая работа:
-Были написаны и развернуты 3 сервиса: генератор файлов, 2 приложения для работы с этими файлами по вариантам 2 и 1 соответственно:
-
-Вариант 2 (для первого приложения):
-
-```Формирует файл /var/result/data.txt из первых строк всех файлов каталога /var/data.```
-
-Вариант 1 (для второго приложения):
-
-```Ищет набольшее число из файла /var/data/data.txt и сохраняет его вторую степень в /var/result/result.txt.```
-
-Приложения работают совместно, используя общий монтированный том для записи и получения информации:
-```
-    volumes:
-      - ./data:/var/data
-```
-```    
-    volumes:
-      - ./data:/var/data
-      - ./result:/var/result 
-```
-```
-    volumes:
-      - ./result:/var/result
-```
-
-
-### Запуск лабораторной:
-Необходимо перейти в папку с файлом docker-compose.yaml и ввести следующую команду:
-```
-docker compose up --build
-```
-Сервис генератора сгенерирует папки data и result, где будут сгенерированы входные файлы и файл-результат их обработки соответственно.
-
-## Видео с результатом запуска: 
-
-Видео-демонстрацию работы можно посмотреть по данной [ссылке](https://drive.google.com/file/d/1CmVZjJuMStqNFFKbsMLjw4ihTiMnR7it/view).

bogdanov_dmitry_lab_2/app-1/Dockerfile

@@ -1,7 +0,0 @@
-FROM python:latest
-
-WORKDIR /app
-
-COPY app.py /app/
-
-CMD ["python", "app.py"]

bogdanov_dmitry_lab_2/app-1/app.py

@@ -1,30 +0,0 @@
-import os
-
-# Вариант 2 - Формирует файл /var/result/data.txt из первых строк всех файлов каталога /var/data.
-def solve(dir_files, dir_result, filename_result):
-    # Получаем список файлов в директории
-    filenames = os.listdir(dir_files)
-    result = ''
-    # Проходим через каждый файл
-    for filename in filenames:
-        filepath = os.path.join(dir_files, filename)
-        file = open(filepath, "r")
-        # Читаем первую строку, добавляем к результату
-        result += f"{file.readline()}"
-        file.close()
-
-    # Если директории для сохранения результата нет - создаём
-    if not os.path.exists(dir_result):
-        os.makedirs(dir_result)
-    # Если директория с результатом не пустая - завершаем работу
-    if os.listdir(dir_result):
-        return
-    # Пишем результат в файл
-    filepath_result = os.path.join(dir_result, filename_result)
-    result_file = open(filepath_result, "w")
-    result_file.write(result)
-    print(f"Результат записан в файл {filepath_result}")
-    result_file.close()
-
-if __name__ == "__main__":
-    solve('/var/data', '/var/result', 'data.txt')

bogdanov_dmitry_lab_2/app-2/Dockerfile

@@ -1,7 +0,0 @@
-FROM python:latest
-
-WORKDIR /app
-
-COPY app.py /app/
-
-CMD ["python", "app.py"]

bogdanov_dmitry_lab_2/app-2/app.py

@@ -1,21 +0,0 @@
-import os
-
-# Вариант 1 - Ищет набольшее число из файла /var/data/data.txt и сохраняет его вторую степень в /var/result/result.txt.
-def solve(dir_input, dir_result, filename_result):
-    file_input = open(os.path.join(dir_input, 'data.txt'))
-    # Считываем все числа из файла
-    inputs = [int(line) for line in file_input.readlines()]
-    if inputs:
-        # Максимальное число
-        max_num = max(inputs)
-        print(f"Наибольшее число: {max_num}")
-        # Возводим во 2 степень
-        result = max(inputs) ** 2
-        file_result = open(os.path.join(dir_result, filename_result), "w")
-        # Пишем результат в файл
-        file_result.write(str(result))
-        print(f"Получен результат {result}")
-        file_result.close()
-
-if __name__ == "__main__":
-    solve("/var/result", '/var/result', 'result.txt')

bogdanov_dmitry_lab_2/app-generator/Dockerfile

@@ -1,7 +0,0 @@
-FROM python:latest
-
-WORKDIR /app
-
-COPY generator.py /app/
-
-CMD ["python", "generate_files.py"]

bogdanov_dmitry_lab_2/app-generator/generator.py

@@ -1,30 +0,0 @@
-import os
-import random as rnd
-import string
-
-# Генератор названий файлов
-def generate_filename(l):
-    return ''.join(rnd.choices(string.ascii_lowercase + string.digits, k=l)) + '.txt'
-
-def generate_files(dir, num_files, num_lines):
-    # Если директории для сохранения файлов нет - создаём
-    if not os.path.exists(dir):
-        os.makedirs(dir)
-
-    # Если директория для сохранения файлов не пустая - завершаем работу
-    if os.listdir(dir):
-        return
-
-    # Создание файлов
-    for i in range(num_files):
-        filename = generate_filename(20)
-        filepath = os.path.join(dir, filename)
-
-        file = open(filepath, "w")
-        # Запись строк в файл
-        for j in range(num_lines):
-            file.write(f"{rnd.randint(-1000, 1000)}\n")
-        file.close()
-
-if __name__ == "__main__":
-    generate_files('/var/data', 50, 50)

bogdanov_dmitry_lab_2/docker-compose.yaml

@@ -1,27 +0,0 @@
-services:
-  # Генератор файлов
-  generator:
-    build:
-      context: ./app-generator # Путь к контексту (докер файл + скрипт)
-    volumes:
-      - ./data:/var/data # Папка контейнера : папка локальная
-    entrypoint: python generator.py # Точка входа
-
-  # Первое приложение
-  app1:
-    build:
-      context: ./app-1 # Путь к контексту
-    volumes:
-      - ./data:/var/data # Монтирование папок
-      - ./result:/var/result
-    depends_on:
-      - generator # Указываем, что запускается только после успешной работы сервиса generator
-
-  # Второе приложение, настройка аналогична сервисам выше
-  app2:
-    build:
-      context: ./app-2
-    volumes:
-      - ./result:/var/result
-    depends_on:
-      - app1