Compare commits

..

2 Commits

Author SHA1 Message Date
0590f7b532 feature: add README.md 2024-09-17 22:26:19 +04:00
0eec58a347 feature: completed lab 2 2024-09-17 22:07:57 +04:00
17 changed files with 298 additions and 74 deletions

View File

@@ -0,0 +1,23 @@
# Распределённое приложение для поиска файлов и обработки чисел
## Описаниe
Данное распределённое приложение состоит из двух консольных Java-приложений, которые работают в контейнерах Docker. Приложения выполняют следующие задачи:
### file-finder:
Ищет самый большой файл в директории /var/data и копирует его в /var/result/data.txt.
### number-processor:
Считывает числа из файла /var/result/data.txt и сохраняет произведение первого и последнего числа в файл /var/result/result.txt.
#### Приложения работают совместно через Docker Compose, используя общий том для передачи файлов между контейнерами.
### Как запустить
1. #### Подготовка данных
Убедитесь, что в директории data находятся файлы, которые вы хотите обработать. Это могут быть текстовые файлы с числами.
2. #### Сборка и запуск контейнеров
Выполните команду для сборки и запуска контейнеров с помощью Docker Compose: docker-compose up --build
3. #### Результаты выполнения
#### Приложение file-finder находит самый большой файл в директории /var/data (локально это монтируемая директория data/) и копирует его в файл /var/result/data.txt.
#### Приложение number-processor читает файл /var/result/data.txt и сохраняет произведение первого и последнего числа в файл /var/result/result.txt.
#### Ссылка на видео https://drive.google.com/file/d/1u7nwZdUI4KHC4NzUAXdOABflYswokGwx/view

31
emelyanov_artem_lab_2/app_1/.gitignore vendored Normal file
View File

@@ -0,0 +1,31 @@
### IntelliJ IDEA ###
out/
!**/src/main/**/out/
!**/src/test/**/out/
### Eclipse ###
.apt_generated
.classpath
.factorypath
.project
.settings
.springBeans
.sts4-cache
bin/
!**/src/main/**/bin/
!**/src/test/**/bin/
### NetBeans ###
/nbproject/private/
/nbbuild/
/dist/
/nbdist/
/.nb-gradle/
### VS Code ###
.vscode/
### Mac OS ###
.DS_Store
/.idea/modules.xml
/.idea/vcs.xml

8
emelyanov_artem_lab_2/app_1/.idea/.gitignore generated vendored Normal file
View File

@@ -0,0 +1,8 @@
# Default ignored files
/shelf/
/workspace.xml
# Editor-based HTTP Client requests
/httpRequests/
# Datasource local storage ignored files
/dataSources/
/dataSources.local.xml

View File

@@ -0,0 +1,17 @@
# Используем базовый образ с установленной JDK
FROM openjdk:17-jdk-slim
# Создаем директорию для исходных файлов
RUN mkdir /var/data
# Создаем директорию для приложения
WORKDIR /app
#Копируем исходные файлы приложения внутрь контейнера
COPY src /app/src
#Компилируем код
RUN javac /app/src/Main.java
# Определяем команду для запуска приложения
CMD ["java", "-cp", "/app/src", "Main"]

View File

@@ -0,0 +1,64 @@
import java.io.File;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.StandardCopyOption;
public class Main {
public static void main(String[] args) {
/*
Ищет в каталоге /var/data самый большой по объёму файл и перекладывает его в /var/result/data.txt.
*/
File sourceDir = new File("/var/data");
File targetFile = new File("/var/result/data.txt");
// Проверяем, что sourceDir существует и является директорией
if (!sourceDir.exists() || !sourceDir.isDirectory()) {
System.out.println("Каталог " + sourceDir + " не существует или не является директорией.");
return;
}
File[] files = sourceDir.listFiles();
if (files == null || files.length == 0) {
System.out.println("Каталог " + sourceDir + " пуст.");
return;
}
long maxFileSize = -1L;
File maxFile = null;
// Находим файл с максимальным размером
for (File item : files) {
if (item.isFile() && item.length() > maxFileSize) {
maxFileSize = item.length();
maxFile = item;
}
}
if (maxFile != null) {
// Проверяем, существует ли конечная директория, если нет — создаем её
File targetDir = targetFile.getParentFile();
if (!targetDir.exists()) {
boolean dirCreated = targetDir.mkdirs();
if (dirCreated) {
System.out.println("Директория " + targetDir + " была успешно создана.");
} else {
System.out.println("Не удалось создать директорию " + targetDir);
return;
}
}
try {
// Копируем файл
Files.copy(maxFile.toPath(), targetFile.toPath(), StandardCopyOption.REPLACE_EXISTING);
System.out.println("Самый большой файл: " + maxFile.getName() + " был скопирован в /var/result/data.txt");
} catch (IOException e) {
System.out.println("Ошибка копирования файла: " + e.getMessage());
}
} else {
System.out.println("Файлы для копирования не найдены.");
}
}
}

30
emelyanov_artem_lab_2/app_2/.gitignore vendored Normal file
View File

@@ -0,0 +1,30 @@
### IntelliJ IDEA ###
out/
!**/src/main/**/out/
!**/src/test/**/out/
### Eclipse ###
.apt_generated
.classpath
.factorypath
.project
.settings
.springBeans
.sts4-cache
bin/
!**/src/main/**/bin/
!**/src/test/**/bin/
### NetBeans ###
/nbproject/private/
/nbbuild/
/dist/
/nbdist/
/.nb-gradle/
### VS Code ###
.vscode/
### Mac OS ###
.DS_Store
/.idea/misc.xml

10
emelyanov_artem_lab_2/app_2/.idea/.gitignore generated vendored Normal file
View File

@@ -0,0 +1,10 @@
# Default ignored files
/shelf/
/workspace.xml
# Editor-based HTTP Client requests
/httpRequests/
# Datasource local storage ignored files
/dataSources/
/dataSources.local.xml
/modules.xml
/vcs.xml

View File

@@ -0,0 +1,17 @@
# Используем базовый образ с установленной JDK
FROM openjdk:17-jdk-slim
# Создаем директорию для исходных файлов
RUN mkdir /var/data
# Создаем директорию для приложения
WORKDIR /app
#Копируем исходные файлы приложения внутрь контейнера
COPY src /app/src
#Компилируем код
RUN javac /app/src/Main.java
# Определяем команду для запуска приложения
CMD ["java", "-cp", "/app/src", "Main"]

View File

@@ -0,0 +1,46 @@
import java.io.File;
import java.io.FileNotFoundException;
import java.io.PrintWriter;
import java.util.Scanner;
public class Main {
// Сохраняет произведение первого и последнего числа из файла /var/result/data.txt в /var/result/result.txt.
public static void main(String[] args) {
File sourceFile = new File("/var/result/data.txt");
File targetFile = new File("/var/result/result.txt");
int firstNumber = 0;
int lastNumber = 0;
boolean isFirstNumber = true;
try (Scanner scanner = new Scanner(sourceFile)) {
// Считываем числа
while (scanner.hasNextInt()) {
int currentNumber = scanner.nextInt();
if (isFirstNumber) {
firstNumber = currentNumber; // Сохраняем первое число
isFirstNumber = false;
}
lastNumber = currentNumber; // Последнее число обновляется на каждом шаге
}
} catch (FileNotFoundException ex) {
System.out.println("Файл не найден: " + ex.getMessage());
return; // Выходим, если файл не найден
}
// Рассчитываем произведение первого и последнего числа
int result = firstNumber * lastNumber;
// Сохраняем результат в файл
try (PrintWriter writer = new PrintWriter(targetFile)) {
writer.println(result);
System.out.println("Произведение первого и последнего числа: " + result);
} catch (FileNotFoundException ex) {
System.out.println("Ошибка записи в файл: " + ex.getMessage());
}
}
}

View File

@@ -0,0 +1,10 @@
2
32
1
2
3
54
64
4
3
3

View File

@@ -0,0 +1,12 @@
12
4
12
3
21
3
12
1
3
32
2
5

View File

@@ -0,0 +1,9 @@
12
2
1
2
4
3
1
2
3

View File

@@ -0,0 +1,21 @@
version: '3'
services:
file-finder:
build:
context: ./app_1 # Путь к первому приложению
dockerfile: Dockerfile
volumes:
- C:/Users/Admin/Desktop/УлГТУ/Распределенные вычисления и приложения/DAS_2024_1/emelyanov_artem_lab_2/data:/var/data # Монтируем директорию с файлами
- shared-result:/var/result
number-processor:
build:
context: ./app_2 # Путь ко второму приложению
dockerfile: Dockerfile
depends_on:
- file-finder
volumes:
- shared-result:/var/result
volumes:
shared-result: # Объявляем общий том

View File

@@ -1,14 +0,0 @@
# Переменные для базы данных
POSTGRES_TAG=latest # Берём последнююю версию postgres. Пока это не принципиально
POSTGRES_DATA_DIR=./postgres-data
POSTGRES_PASSWORD=postgres_password
# Переменные для Web gui для БД
DB_GUI_IMAGE=adminer # Самый легковесный Web gui для postgres(и не только)
DB_GUI_CONTEINER_PORT=8080
# Переменные для брокера сообщения RabbitMQ
RABBIT_TAG=3.10.7-management # Тут есть встроенный Web интерфейс
RABBIT_DATA_DIR=./rabbit-data
RABBIT_USERNAME=user
RABBIT_PASSWORD=password

View File

@@ -1,2 +0,0 @@
postgres-data/
rabbit-data/

View File

@@ -1,27 +0,0 @@
# Лабораторная работа 1
Данная работа посвящена работе с docker compose и поднятию сервисов, необходимых для последующего выполнения работ.
## Описание
В качестве сервисов были выбраны:
- СУБД - Postgres
- Web интерфейс для БД Postgres - Adminer
- Брокер сообщений - RabbitMQ (+ Web интерфейс)
## Запуск
Для запуска лабораторной работы необходимо иметь запущенный движок Docker на устройстве.
Необходимо перейти в папку, где располагается данный файл. Далее открыть терминал и ввести команду:
```
docker compose up -d
```
В данном случае флаг `-d` не обязателен. Он лишь позволит оставить консоль интерактивной (запускает все контейнеры в фоновом режиме).
В случае, если в консоли отобразился подобный текст и появилась возможность вводить команды - сервисы успешно запущены.
```
[+] Running 4/4
✔ Network kuzarin_maxim_lab_1_default Created 0.0s
✔ Container kuzarin_maxim_lab_1-db-1 Started 0.7s
✔ Container kuzarin_maxim_lab_1-rabbit-1 Started 0.7s
✔ Container kuzarin_maxim_lab_1-db_web_gui-1 Started 0.7s
```
## Описание compose файла
В docker-compose файле все уникальные строчки помечены комментариями. Они описывают их предназначения, и иногда обосновывают принятые решения.
Так же комментарии присутствуют в файле .env, где хранятся переменные среды, нужные для работы compose файла.
## Видео демонстрация
Был записан видеоролик, демонстрирующий процесс запуска и работы сервисов. Он расположен по [адресу](https://drive.google.com/file/d/1ouUc-3eYhaJIR0HhD4b_Lj73oxEqORpA/view?usp=sharing)

View File

@@ -1,31 +0,0 @@
services:
db: # База данных
image: postgres:${POSTGRES_TAG} # Берём тег образа из переменной среды
restart: always # Автоматический перезапуск контейнера, если он упал
ports: # проброс портов
- 5432:5432 # Так как на хосте нет postgres, порт по умолчанию можно использовать свободно
volumes: # Указываем проброс папок
- ${POSTGRES_DATA_DIR}:/var/lib/postgresql/data # Данные postgres хранятся в /var/lib/postgresql/data.
# А на хосте монтируем туда, куда указано в переменной
environment: # Указываем переменные среды
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} # Пароль от учётки postgres берём из переменных среды
db_web_gui: # Интерфейс для доступа к БД (на компе нет PgAdmin)
image: ${DB_GUI_IMAGE} # Их есть много разных, так что имя образа из env
restart: always
ports:
- 8080:${DB_GUI_CONTEINER_PORT} # Так как Web GUI разные, то и порт может быть разный. Берём из env
rabbit: # Rabbit тоже понадобится в будущем
image: rabbitmq:${RABBIT_TAG} # Определяем тегом версию
restart: always
ports:
- 5672:5672 # Это порт доступа к брокеру (если буду разрабатывать на локале)
- 8081:15672 # А это порт для Web GUI. Для удобста на хосте это 8081, близко к БД
volumes:
- ${RABBIT_DATA_DIR}:/var/lib/rabbitmq # У Rabbit так же можно пробросить папку, чтобы не терять данные
environment:
RABBITMQ_DEFAULT_USER: ${RABBIT_USERNAME} # Логин для пользователя Rabbit Берём из env
RABBITMQ_DEFAULT_PASS: ${RABBIT_PASSWORD} # Пароль для пользователя Rabbit. Берём из env