Compare commits

..

5 Commits

20 changed files with 377 additions and 194 deletions

1
kashin_maxim_lab_2/.gitignore vendored Normal file
View File

@@ -0,0 +1 @@
var/

View File

@@ -0,0 +1,60 @@
# Кашин Максим ПИбд-42
## Описание
Этот проект состоит из трех отдельных программ, каждая из которых находится в своей папке (`program_0`, `program_1`, `program_2`). Каждая программа запускается в отдельном Docker-контейнере и взаимодействует с другими через общие директории, примонтированные как тома (volumes). Для управления контейнерами используется `docker-compose`.
### Основная структура:
- **program_0**: выполняет подготовку для выполнение задач (генерация файлов) и сохраняет результат в директорию `./var/data`.
- **program_1**: использует данные из `./var/data`, генерируемые `program_0`, обрабатывает их и сохраняет результат в `./var/result`.
- **program_2**: берет результаты из `./var/result`, созданные `program_1`, и выполняет заключительную часть обработки и сохраняет результат в `./var/result`.
### Шаги для запуска
1. **Запуск всех сервисов:**
Для запуска всех программ с помощью Docker Compose, выполните следующую команду:
```bash
docker-compose up --build
```
Это создаст и запустит все три программы в последовательности.
2. **Работа с томами:**
Проект использует два общих тома для обмена данными между программами:
- `/var/data`: программа `program_0` сохраняет туда свои данные, которые потом читает `program_1`.
- `/var/result`: программа `program_1` сохраняет результаты обработки, которые затем используются в `program_2`.
3. **Остановка сервисов:**
Для остановки всех контейнеров выполните команду:
```bash
docker-compose down
```
## Структура проекта
- **program_0/**:
- `main.py`: основной код для первой программы (генерация файлов).
- `Dockerfile`: инструкция по созданию Docker-образа для `program_0`.
- **program_1/**:
- `main.py`: основной код для второй программы (Скрипт на задание 1.3 - Формирует файл /var/result/data.txt так, что каждая строка файла - количество строк в файлах из каталога /var/data.)
- `Dockerfile`: инструкция по созданию Docker-образа для `program_1`.
- **program_2/**:
- `main.py`: основной код для третьей программы (Скрипт на задание 2.1 - Ищет набольшее число из файла /var/result/data.txt и сохраняет его вторую степень в /var/result/result.txt.)
- `Dockerfile`: инструкция по созданию Docker-образа для `program_2`.
- **docker-compose.yml**: конфигурация для Docker Compose, описывающая, как собирать и запускать все контейнеры, а также тома, которые они используют.
- **.gitignore**: файл для исключения директории `var/` (временных данных и результатов).
### Видео-отчёт
- [Видео отчёт Кашин Максим ПИбд-42](https://disk.yandex.ru/i/NGZD2HkmZkIBww)

View File

@@ -0,0 +1,24 @@
services:
program_0:
build:
context: ./program_0 # Контекст сборки для контейнера program_0, указывающий на папку с Dockerfile
volumes:
- ./var/data:/data # Монтирование локальной директории ./var/data в контейнер по пути /data
program_1:
build:
context: ./program_1 # Контекст сборки для контейнера program_1, указывающий на папку с Dockerfile
volumes:
- ./var/data:/data # Монтирование локальной директории ./var/data в контейнер по пути /data
- ./var/result:/result # Монтирование локальной директории ./var/result в контейнер по пути /result
depends_on:
- program_0 # Зависимость от program_0; program_1 не будет запущен до завершения program_0
program_2:
build:
context: ./program_2 # Контекст сборки для контейнера program_2, указывающий на папку с Dockerfile
volumes:
- ./var/result:/result # Монтирование локальной директории ./var/result в контейнер по пути /result
depends_on:
- program_1 # Зависимость от program_1; program_2 не будет запущен до завершения program_1

View File

@@ -0,0 +1,11 @@
# Используем базовый образ Python версии 3.12 с минимальным размером
FROM python:3.12-slim
# Устанавливаем рабочую директорию внутри контейнера
WORKDIR /program_0
# Копируем файл main.py из локальной файловой системы в рабочую директорию контейнера
COPY main.py /program_0/
# Определяем команду, которая будет выполняться при запуске контейнера
CMD ["python", "main.py"]

View File

@@ -0,0 +1,53 @@
import random
import os
# Путь к папке, где будут создаваться файлы
folder_path = '/data'
# Функция для создания папки, если она не существует
def creat_folder():
if not os.path.exists(folder_path):
os.makedirs(folder_path)
print(f"Папка `{folder_path}` создана!")
else:
print(f"Папка `{folder_path}` уже существует!")
# Функция для удаления всех файлов в папке
def delete_files_in_folder():
for filename in os.listdir(folder_path):
file_path = os.path.join(folder_path, filename)
try:
if os.path.isfile(file_path):
os.remove(file_path)
print(f"Файл `{file_path}` удален.")
except Exception as e:
print(f'Ошибка при удалении файла {file_path}. {e}')
# Функция для создания файлов с случайными данными
def creat_file():
# Создаем случайное количество файлов (от 10 до 20)
for i in range(random.randrange(10, 20)):
file = open(f'{folder_path}/file_{i}.txt', 'w+')
print(f"Создан файл: {folder_path}/file_{i}.txt")
# Заполняем файл случайным количеством строк (от 10 до 50)
for i in range(random.randrange(10, 50)):
file.write(f'{create_lines()} \n') # Записываем строку данных в файл
file.close()
# Функция для создания случайных числовых строк
def create_lines():
# Создаем список случайных чисел
lines = [i for i in range(random.randrange(1, 50), random.randrange(50, 100), random.randrange(1, 10))]
return lines
# Основная логика: проверка существования папки и выполнение операций
if os.path.exists(folder_path):
print(f"Папка `{folder_path}` существует, удаляем старые файлы...")
delete_files_in_folder()
creat_file()
else:
print(f"Папка `{folder_path}` не существует, создаем...")
creat_folder()
creat_file()
print("Скрипт на создание файлов выполнен.")

View File

@@ -0,0 +1,11 @@
# Используем базовый образ Python версии 3.12 с минимальным размером
FROM python:3.12-slim
# Устанавливаем рабочую директорию внутри контейнера
WORKDIR /program_1
# Копируем файл main.py из локальной файловой системы в рабочую директорию контейнера
COPY main.py /program_1/
# Определяем команду, которая будет выполняться при запуске контейнера
CMD ["python", "main.py"]

View File

@@ -0,0 +1,58 @@
from pathlib import Path
import os
# Путь к папке, где будут создаваться файлы
folder_path = '/result'
# Путь к папке, где созданы файлы
folder_generator = '/data'
# Функция для создания папки, если она не существует
def creat_folder():
if not os.path.exists(folder_path):
os.makedirs(folder_path)
print(f"Папка `{folder_path}` создана!")
else:
print(f"Папка `{folder_path}` уже существует!")
# Функция для удаления всех файлов в папке
def delete_files_in_folder():
for filename in os.listdir(folder_path):
file_path = os.path.join(folder_path, filename)
try:
if os.path.isfile(file_path):
os.remove(file_path)
print(f"Файл `{file_path}` удален.")
except Exception as e:
print(f'Ошибка при удалении файла {file_path}. {e}')
# Функция для создания файлов
def creat_file():
file = open(f'{folder_path}/data.txt', 'w+')
print(f"Создан файл: {folder_path}/data.txt")
for count in files_count():
file.write(f'{count} \n')
file.close()
# Функция для подсчета количества строк в файлах
def files_count():
files = []
files_count = []
files += os.listdir(folder_generator)
for file in files:
line_count = sum(1 for line in open(folder_generator + '/' + file))
files_count.append(line_count)
print(f"Файл {file} имеет {line_count} количество строк")
return files_count
# Основная логика: проверка существования папки и выполнение операций
if os.path.exists(folder_path):
print(f"Папка `{folder_path}` существует, удаляем старые файлы...")
delete_files_in_folder()
creat_file()
else:
print(f"Папка `{folder_path}` не существует, создаем...")
creat_folder()
creat_file()
print("Скрипт на задание 1.3 (Формирует файл /var/result/data.txt так, что каждая строка файла - количество строк в файлах из каталога /var/data.) выполнен.")

View File

@@ -0,0 +1,11 @@
# Используем базовый образ Python версии 3.12 с минимальным размером
FROM python:3.12-slim
# Устанавливаем рабочую директорию внутри контейнера
WORKDIR /program_2
# Копируем файл main.py из локальной файловой системы в рабочую директорию контейнера
COPY main.py /program_2/
# Определяем команду, которая будет выполняться при запуске контейнера
CMD ["python", "main.py"]

View File

@@ -0,0 +1,53 @@
from pathlib import Path
import os
# Путь к папке, где будут создаваться файлы
folder_path = '/result'
# Функция для создания папки, если она не существует
def creat_folder():
if not os.path.exists(folder_path):
os.makedirs(folder_path)
print(f"Папка `{folder_path}` создана!")
else:
print(f"Папка `{folder_path}` уже существует!")
# Функция для удаления всех файлов в папке
def delete_files_in_folder():
for filename in 'result.txt':
file_path = os.path.join(folder_path, filename)
try:
if os.path.isfile(file_path):
os.remove(file_path)
print(f"Файл `{file_path}` удален.")
except Exception as e:
print(f'Ошибка при удалении файла {file_path}. {e}')
# Функция для создания файлов
def creat_file():
file = open(f'{folder_path}/result.txt', 'w+')
print(f"Создан файл: {folder_path}/result.txt")
file.write(f'{max_nubmer_file()**2}')
print(f"Максимальное число: {max_nubmer_file()}")
print(f"Максимальное число в степени 2: {max_nubmer_file()**2}")
file.close()
# Функция для посчёта максимального числа в файле
def max_nubmer_file():
max_number = 0
for line in open(f'{folder_path}/data.txt'):
if int(line) > max_number:
max_number = int(line)
return max_number
# Основная логика: проверка существования папки и выполнение операций
if os.path.exists(folder_path):
print(f"Папка `{folder_path}` существует, удаляем старые файлы...")
delete_files_in_folder()
creat_file()
else:
print(f"Папка `{folder_path}` не существует, создаем...")
creat_folder()
creat_file()
print("Скрипт на задание 2.1 (Ищет набольшее число из файла /var/result/data.txt и сохраняет его вторую степень в /var/result/result.txt.) выполнен.")

View File

@@ -0,0 +1,50 @@
# Отчет по лабораторной работе 1
## Описание
Docker Compose используется для одновременного управления несколькими контейнерами, входящими в состав приложения. Он позволяет хранить все настройки проекта в одном контейнере, что позволяет потом беспроблемно использовать те же настройки проекта на другом сервере. docker-compose.yml позволяет настраивать и документировать все зависимости служб приложения. В нем указываются образ, порт(который можно пробросить), окрущающие среды, томы и зависимости (если нужно).
## Описание docker-compose.yml
Были выбраны следующие сервисы:
1. Postgres
2. Redmine
3. Gitea
В файле у каждого сервиса пробрасывается порт. Каждый сервис содержит том, который используются для хранения данных. Запуск Redmine и Gitea имеют зависимость от Postgres, чтобы они имели возможность накатить миграции и заполнить таблицы после создания базы. У каждого сервиса заполнен паарметр environment, где указываются данные для БД.
## Инструкция по запуску
1. Запустить приложение Docker Hub
2. Открыть консоль с помощью команды cd перейти к папке, где находится файл docker-compose.yml
3. Ввести команду для поднятия контейнеров
```
docker compose up -d
```
Дожидаемся запуска сервисов:
```
[+] Running 3/3
✔ Container yakovleva_julia_lab_1-postgres-1 Started 0.5s
✔ Container yakovleva_julia_lab_1-gitea-1 Started 1.2s
✔ Container yakovleva_julia_lab_1-redmine-1 Started 1.1s
```
4. Убедиться, что сервисы успешно запущены можно по команде:
```
docker compose ps
```
Отобразится таблица с запущенными сервисами:
```
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
yakovleva_julia_lab_1-gitea-1 gitea/gitea:1.22.2 "/usr/bin/entrypoint…" gitea 19 minutes ago Up 6 seconds 22/tcp, 0.0.0.0:3002->3000/tcp
yakovleva_julia_lab_1-postgres-1 postgres:16.4 "docker-entrypoint.s…" postgres 19 minutes ago Up 6 seconds 0.0.0.0:5433->5432/tcp
yakovleva_julia_lab_1-redmine-1 redmine:latest "/docker-entrypoint.…" redmine 19 minutes ago Up 6 seconds 0.0.0.0:3003->3000/tcp
```
Также можно посомтреть логи каждого севриса при вводе команды:
```
docker compose logs -ft (название сервиса)
```
-ft необходим для того, чтобы читать логи сервиса в реальном времени
## Видео
[Видео](https://disk.yandex.ru/i/Ds2f4xO8vQ8XPA) работоспособности.

View File

@@ -0,0 +1,45 @@
services:
postgres:
image: postgres:16.4
ports:
- "5433:5432"
environment:
POSTGRES_USER: redmine
POSTGRES_PASSWORD: redminepass
POSTGRES_DB: redmine
volumes:
- ./postgres_data:/var/lib/postgresql/data # Volume для хранения данных PostgreSQL
restart: always
redmine:
image: redmine:latest
ports:
- "3003:3000"
volumes:
- ./redmine_data:/usr/src/redmine/files # Volume для хранения данных Redmine
environment:
REDMINE_DB_POSTGRES: postgres # Имя сервиса базы данных
REDMINE_DB_USERNAME: redmine
REDMINE_DB_PASSWORD: redminepass
REDMINE_DB_DATABASE: redmine
depends_on:
- postgres
restart: always
gitea:
image: gitea/gitea:1.22.2
ports:
- "3002:3000" # Проброс порта для доступа к Gitea
volumes:
- ./gitea_data:/data # Volume для хранения данных Gitea
environment:
- USER_UID=1000
- USER_GID=1000
- GITEA__database__DB_TYPE=postgres
- GITEA__database__HOST=postgres:5432
- GITEA__database__NAME=gitea
- GITEA__database__USER=gitea
- GITEA__database__PASSWD=gitea_password
depends_on:
- postgres
restart: always

View File

@@ -1,2 +0,0 @@
result/
data/

View File

@@ -1,50 +0,0 @@
# Отчет по лабораторной работе №2
## Поставленные задачи
1. Согласно вашему варианту (выбирайте любой) разработать два приложения такие, что результат первого является исходными данными для второго.
2. Изучить файлы сборки образов docker и разработать их для созданных приложений.
3. Собрать файл docker-compose.yml для запуска приложений. Разобраться с монтированием каталогов из хост-системы.
4. Правильно закоммитить результат без лишних файлов.
5. Оформить pull request по правилам и отправить его на проверку.
## Варианты заданий
1. **Программа 1 под вариантом 5:** Ищет в каталоге /var/data файл с самым коротким названием и перекладывает его в /var/result/data.txt.
2. **Программа 2 под вариантом 2:** Ищет наименьшее число из файла /var/data/data.txt и сохраняет его третью степень в /var/result/result.txt.
## Запуск работы
1. Убедиться, что установлены необходимые технологии:
- Docker: Платформа для контейнеризации приложений.
- Docker Compose: Инструмент для запуска многоконтейнерных приложений на основе `docker-compose.yaml`. Обычно поставляется вместе с Docker. Чтобы проверить, установлена ли утилита, нужно запустить команду:
```bash
docker-compose --version
```
2. В директории, где находится файл `docker-compose.yaml`, выполнить следующую команду для запуска всех сервисов:
```bash
docker-compose up --build
```
Эта команда сначала выполнит сборку, а затем запустит контейнеры.
3. После успешного запуска можно перейти в каталог проекта и увидеть папку data со сгенерированными файлами и папку result, в которой два текстовых файла:
- data.txt - файл, полученный после выполнения первой программы.
- result.txt -файл, полученный после выполнения второй программы.
## Ход работы
1. **Реализация генератора файлов**
Написание скрипта generate_files.py, который генерирует случайные файлы с числами и сохраняет их в папке data. Создание Dockerfile для генератора, который устанавливает Python и копирует скрипт в контейнер. (ПОстрочное описание скрипта и Dockerfile представлено в папке generator)
2. **Реализация первого приложения**
Создание первой программы в app.py, которая ищет файл с самым коротким именем в папке data и копирует его содержимое в result/data.txt. Создание Dockerfile для первого приложения с аналогичной для Dockerfile из generate структурой.
3. **Реализация второго приложения**
Создание второй программы в app.py, которая находит минимальное число из result/data.txt и записывает его третью степень в result/result.txt. Создание Dockerfile для второго приложения с аналогичной для Dockerfile из generate структурой.
4. **Создание файла docker-compose.yml**
Создание файла docker-compose.yml, в котором описываются все три сервиса (генератор, первое приложение, второе приложение). Необходимо настроить их зависимости и монтирование папок.
Построчное описание docker-compose.yaml и других файлов выполнено в самих файлах.
## Демонстрационное видео
Видеозапись доступна по адресу: [https://vk.com/video193898050_456240869](https://vk.com/video193898050_456240869)

View File

@@ -1,28 +0,0 @@
services:
# Сервис генератора файлов
generator:
build:
context: ./generator # Путь к директории с Dockerfile и скриптом генератора
volumes:
- ./data:/var/data # Монтирование локальной папки data в /var/data в контейнере
entrypoint: ["sh", "-c", "if [ -z \"$(ls -A /var/data)\" ]; then python generate_files.py; else echo '/var/data is not empty'; fi"]
# Запуск команды, проверяющей, пуста ли папка /var/data. Если пуста, запускается скрипт генерации данных.
# Первый сервис, который ищет файл с коротким именем
first_app:
build:
context: ./first_app # Путь к директории с Dockerfile для первого приложения
volumes:
- ./data:/var/data # Монтирование локальной папки data в /var/data
- ./result:/var/result # Монтирование локальной папки result в /var/result
depends_on:
- generator # Указывает, что первый сервис зависит от завершения работы генератора
# Второй сервис, который ищет минимальное число
second_app:
build:
context: ./second_app # Путь к директории с Dockerfile для второго приложения
volumes:
- ./result:/var/result # Монтирование локальной папки result в /var/result
depends_on:
- first_app # Указывает, что второй сервис зависит от завершения работы первого сервиса

View File

@@ -1,8 +0,0 @@
# См. описание Dockerfile для генератора файлов (generator)
FROM python:3.9-slim
WORKDIR /app
COPY app.py /app/
CMD ["python", "app.py"]

View File

@@ -1,28 +0,0 @@
import os
def find_shortest_filename(source_dir, result_file):
# Существует ли папка result? Если нет, то создается
result_dir = os.path.dirname(result_file)
if not os.path.exists(result_dir):
os.makedirs(result_dir)
print(f"Created directory {result_dir}")
# Поиск файлов в исходной директории
files = [f for f in os.listdir(source_dir) if os.path.isfile(os.path.join(source_dir, f))]
if not files:
print(f"No files found in {source_dir}")
return
# Поиск файла с самым коротким именем
shortest_file = min(files, key=len)
shortest_file_path = os.path.join(source_dir, shortest_file)
# Копирование содержимого в result/data.txt. Файл будет перезаписан, если уже существует
with open(shortest_file_path, 'r') as f_in, open(result_file, 'w') as f_out:
f_out.write(f_in.read())
print(f"Moved {shortest_file} to {result_file}")
if __name__ == "__main__":
find_shortest_filename('/var/data', '/var/result/data.txt')

View File

@@ -1,13 +0,0 @@
# задание базового образа, на основе которого строится контейнер.
# в данном случае slim версия, , которая содержит минимальные необходимые
# компоненты для запуска Python, что уменьшает размер контейнера.
FROM python:3.9-slim
# задание рабочей директории внутри контейнера.
WORKDIR /app
# перемещение файлов из хоста в контейнер.
COPY generate_files.py /app/
# команда, выполняющаяся при запуске контейнера.
CMD ["python", "generate_files.py"]

View File

@@ -1,31 +0,0 @@
import os
import random
import string
def generate_random_filename(length):
return ''.join(random.choices(string.ascii_lowercase + string.digits, k=length)) + '.txt'
def generate_data_files(directory, num_files, min_lines, max_lines):
# Создание директории, если таковой не существует
if not os.path.exists(directory):
os.makedirs(directory)
# Проверка, пустая ли директория
if os.listdir(directory):
print(f"{directory} is not empty, skipping file generation.")
return
# Генерация файлов
for _ in range(num_files):
file_name = generate_random_filename(random.randint(1, 20))
file_path = os.path.join(directory, file_name)
with open(file_path, 'w') as f:
num_lines = random.randint(min_lines, max_lines)
for _ in range(num_lines):
f.write(f"{random.randint(1, 1000)}\n")
print(f"Generated file: {file_path}")
if __name__ == "__main__":
generate_data_files('/var/data', num_files=random.randint(5, 15), min_lines=1, max_lines=50)

View File

@@ -1,8 +0,0 @@
# См. описание Dockerfile для генератора файлов (generator)
FROM python:3.9-slim
WORKDIR /app
COPY app.py /app/
CMD ["python", "app.py"]

View File

@@ -1,26 +0,0 @@
import os
def find_smallest_number_and_cube(input_file, output_file):
# Проверка, существует ли файл data.txt
if not os.path.exists(input_file):
print(f"File {input_file} does not exist.")
return
# Чтение чисел из файла
with open(input_file, 'r') as f:
numbers = [int(line.strip()) for line in f.readlines()]
if numbers:
smallest_number = min(numbers)
result = smallest_number ** 3
# Запись результата в result.txt
with open(output_file, 'w') as f_out:
f_out.write(str(result))
print(f"Saved the cube of the smallest number {smallest_number} to {output_file}")
else:
print(f"No numbers found in {input_file}")
if __name__ == "__main__":
find_smallest_number_and_cube('/var/result/data.txt', '/var/result/result.txt')