Compare commits

..

2 Commits

Author SHA1 Message Date
Zyzf
f0b48bba28 kalyshev_yan_lab_2 is ready 2024-09-29 20:05:33 +04:00
Zyzf
8efc2422cf kalyshev_yan_lab_1 is ready 2024-09-29 12:39:22 +04:00
19 changed files with 452 additions and 407 deletions

6
kalyshev_yan_lab_1/.gitignore vendored Normal file
View File

@@ -0,0 +1,6 @@
gitea/
gitea-db/
images/
LocalSettings.php
mediawiki-db/
readmine-db/

View File

@@ -0,0 +1,94 @@
# Калышев Ян ПИбд-42
## Описание
Этот проект разворачивает среду с баг-трекером Redmine, сервис для хранения репозиториев git Gitea, вики Mediawiki и базы данных для каждого сервиса с использованием Docker Compose. Ниже приведены шаги для запуска и настройки.
## 0. Предварительные действия
Перед запуском Docker Compose выполнил следующие шаги:
1. Установил docker, docker-buildx (пусть будет) и docker-compose для моей операционной системы.
2. Запустил и поставил в автозапуск docker через `sudo systemctl enable --now docker`.
## 1. Структура и запуск сервиса
Файл `docker-compose.yml` содержит описание 6 сервисов:
- gitea (Gitea);
- gitea-db (MySQL для Gitea);
- readmine (Readmine);
- readmine-db (MySQL для Readmine);
- mediawiki (Mediawiki);
- mediawiki-db (MariaDB для Mediawiki);
Запуск всех сервисов происходит через команду:
```bash
docker-compose up -d
```
## 1. Gitea
- **Образ**: `gitea/gitea:latest`
- **Порты**:
- `3000:3000` — http порт Gitea http://localhost:3000.
- `222:22` - порт для проброса ssh
- **Переменные окружения**:
- `USER_UID=1000` - uid пользователя, от которого запускается gitea
- `USER_GID=1000` - gid пользователя, от которого запускается gitea
- `GITEA__database__DB_TYPE: mysql` - тип бд
- `GITEA__database__HOST: gitea-db:3306` - адрес бд
- `GITEA__database__NAME: gitea` - имя бд
- `GITEA__database__USER: gitea` - пользователь бд
- `GITEA__database__PASSWD: gitea` - пароль бд
- **Тома**:
- `./gitea:/data` — хранение файлов gitea.
- `/etc/timezone:/etc/timezone:ro` - проброс часового пояса из хост-системы
- `/etc/localtime:/etc/localtime:ro` - проброс часового пояса из хост-системы
- **links, depends_on**
- `gitea-db` - для запуска строго после бд и гарантированной связи сетей
## 2. Readmine
- **Образ**: `readmine:latest`
- **Порты**:
- `8080:3000` — http порт Readmine http://localhost:8080.
- **Переменные окружения**:
- `REDMINE_DB_MYSQL: readmine-db` - адрес бд
- `REDMINE_DB_PASSWORD: example` - пароль бд
- `REDMINE_SECRET_KEY_BASE: supersecretkey` - секретный ключ текущего инстанса
- **links, depends_on**
- `readmine-db` - для запуска строго после бд и гарантированной связи сетей
## 3. Mediawiki
- **Образ**: `mediawiki:latest`
- **Порты**:
- `8081:3000` — http порт Mediawiki http://localhost:8081.
- **Тома**:
- `./images:/var/www/html/images` — хранение изображений mediawiki.
- `./LocalSettings.php:/var/www/html/LocalSettings.php` - проброс файла с настройками после прохождения первичной настройки
- **links, depends_on**
- `mediawiki-db` - для запуска строго после бд и гарантированной связи сетей
## 4. Базы данных
- **Образы**: `mariadb`, `mysql:8.0` (в соответствии с офф. документациями)
- **Тома**:
- `./gitea-db:/var/lib/mysql` — хранение данных бд gitea.
- `./readmine-db:/var/lib/mysql` — хранение данных бд readmine.
- `./mediawiki-db:/var/lib/mysql` — хранение данных бд mediawiki.
- **Переменные окружения** - взяты в соответствии с офф. документациями
## 6. Остановка сервисов
Для остановки и удаления всех контейнеров необходимо выполнить команду:
```bash
docker-compose down
```
## 7. Ссылка на видео
[Видео-отчёт Калышев Ян ПИбд-42](https://zyzf.space/s/stezZksnbyqaWYo)

View File

@@ -0,0 +1,81 @@
services:
gitea:
image: gitea/gitea:latest
environment:
USER_UID: 1000
USER_GID: 1000
GITEA__database__DB_TYPE: mysql
GITEA__database__HOST: gitea-db:3306
GITEA__database__NAME: gitea
GITEA__database__USER: gitea
GITEA__database__PASSWD: gitea
restart: always
links:
- gitea-db
depends_on:
- gitea-db
volumes:
- ./gitea:/data
- /etc/timezone:/etc/timezone:ro
- /etc/localtime:/etc/localtime:ro
ports:
- "3000:3000"
- "222:22"
gitea-db:
image: mysql:8.0
restart: always
environment:
MYSQL_ROOT_PASSWORD: gitea
MYSQL_USER: gitea
MYSQL_PASSWORD: gitea
MYSQL_DATABASE: gitea
volumes:
- ./gitea-db:/var/lib/mysql
redmine:
image: redmine:latest
restart: always
ports:
- 8080:3000
links:
- readmine-db
depends_on:
- readmine-db
environment:
REDMINE_DB_MYSQL: readmine-db
REDMINE_DB_PASSWORD: example
REDMINE_SECRET_KEY_BASE: supersecretkey
readmine-db:
image: mysql:8.0
restart: always
environment:
MYSQL_ROOT_PASSWORD: example
MYSQL_DATABASE: redmine
volumes:
- ./readmine-db:/var/lib/mysql
mediawiki:
image: mediawiki:latest
restart: always
ports:
- 8081:80
links:
- mediawiki-db
depends_on:
- mediawiki-db
volumes:
- ./images:/var/www/html/images
- ./LocalSettings.php:/var/www/html/LocalSettings.php
mediawiki-db:
image: mariadb
restart: always
environment:
MYSQL_DATABASE: my_wiki
MYSQL_USER: wikiuser
MYSQL_PASSWORD: example
MYSQL_RANDOM_ROOT_PASSWORD: "yes"
volumes:
- ./mediawiki-db:/var/lib/mysql

5
kalyshev_yan_lab_2/.gitignore vendored Normal file
View File

@@ -0,0 +1,5 @@
data/
result/
result_first/
result_second/
datagen.py

View File

@@ -0,0 +1,16 @@
#Берем базовый образ python
FROM python:3.12
#Устанавливаем рабочую директорию
WORKDIR /app
#Копирум код в рабочую директорию
COPY main.py .
#Задаем /var/data как монтируемый
VOLUME ["/var/data"]
#Задаем /var/result как монтируемый
VOLUME ["/var/result"]
#Задаем команду для выполнения программы
CMD ["python", "main.py"]

View File

@@ -0,0 +1,79 @@
import os
import random
# Установите полный путь к каталогу, в котором нужно искать самый большой файл.
CATALOG_PATH = "/var/data"
# Полный путь до файла результата.
RESULT_FILE = "/var/result/data.txt"
def find_largest_file(directory):
"""Ищет самый большой по объему файл в заданном каталоге и его подкаталогах."""
largest_file = None
max_size = 0
for root, _, files in os.walk(directory):
for file in files:
# Полный путь к текущему файлу.
filepath = os.path.join(root, file)
try:
file_size = os.stat(filepath).st_size
if file_size > max_size:
max_size = file_size
largest_file = (filepath, file_size)
except OSError as e:
print(f"Ошибка при открытии файла '{filepath}': {e}")
return largest_file
def copy_file(src, dst):
"""Копирует содержимое файла src в файл dst."""
try:
with open(dst, "wb") as f_dst, open(src, "rb") as f_src:
while chunk := f_src.read(4096):
f_dst.write(chunk)
print(f"Файл '{src}' успешно скопирован в '{dst}'.")
except Exception as e:
print(f"Ошибка при копировании файла '{src}': {e}")
def main():
largest_file_path = find_largest_file(CATALOG_PATH)
if largest_file_path:
src_path, _ = largest_file_path
dst_path = RESULT_FILE
copy_file(src_path, dst_path)
else:
print("Нет файлов в каталоге.")
def generate_random_numbers(filename, count):
"""Функция генерирует случайные числа и записывает их в файл."""
with open(filename, "w") as f:
for _ in range(count):
num = random.randint(0, 1000)
f.write(str(num) + "\n")
print(f"Случайные числа успешно записаны в '{filename}'.")
if __name__ == "__main__":
generate_random_numbers("/var/data/data1.txt", 50)
generate_random_numbers("/var/data/data2.txt", 75)
generate_random_numbers("/var/data/data3.txt", 25)
print("Генерация файлов завершена.")
main()

View File

@@ -0,0 +1,74 @@
# Калышев Ян ПИбд-42
## Описание
Этот проект предоставляет 2 контейнера с простыми python-скриптами такими, что результат первого является исходными данными для второго.
## 1. Варианты
Для первой программы был взят вариант:
**0**. Ищет в каталоге /var/data самый большой по объёму файл и перекладывает его в /var/result/data.txt.
Для второй программы был взят вариант:
**2**. Ищет наименьшее число из файла /var/data/data.txt и сохраняет его третью степень в /var/result/result.txt.
## 2. Структура Dockerfile
Оба Dockerfile почти одинаковые:
```Dockerfile
#Берем базовый образ python
FROM python:3.12
#Устанавливаем рабочую директорию
WORKDIR /app
#Копирум код в рабочую директорию
COPY main.py .
#Задаем /var/data как монтируемый
VOLUME ["/var/data"]
#Задаем /var/result как монтируемый
VOLUME ["/var/result"]
#Задаем команду для выполнения программы
CMD ["python", "main.py"]
```
## 3. Docker Compose
`docker-compose.yml`:
```yaml
services:
#Первый скрипт
first:
#Указание директории для сборки первого скрипта
build: ./FirstProgram/
#Монтирование 2 каталогов из хост системы
volumes:
- ./data:/var/data
- ./result_first:/var/result
#Второй скрипт
second:
#Указание директории для сборки второго скрипта
build: ./SecondProgram/
#Задание очередности запуска с помощью depends_on
depends_on:
- first
#Монтирование 2 каталогов из хост системы
volumes:
- ./result_first:/var/data
- ./result_second:/var/result
```
## 4. Запуск
Для запуска использовать команду `docker compose up --build`
Предварительно нужно создать папку `data`, в которой создать файлы, где каждая строка - это число.
Результат первого скрипта будет в папке `result_first`, результат второго скрипта будет в папке `result_second`.
## 7. Ссылка на видео
[Видео-отчёт Калышев Ян ПИбд-42](https://zyzf.space/s/65HRyTTXAzxpwBF)

View File

@@ -0,0 +1,16 @@
#Берем базовый образ python
FROM python:3.12
#Устанавливаем рабочую директорию
WORKDIR /app
#Копирум код в рабочую директорию
COPY main.py .
#Задаем /var/data как монтируемый
VOLUME ["/var/data"]
#Задаем /var/result как монтируемый
VOLUME ["/var/result"]
#Задаем команду для выполнения программы
CMD ["python", "main.py"]

View File

@@ -0,0 +1,60 @@
# Установите полный путь к файлу, из которого нужно читать числа.
DATA_FILE = "/var/data/data.txt"
# Полный путь до файла результата.
RESULT_FILE = "/var/result/result.txt"
def find_smallest_number(data_file):
"""Ищет наименьшее число в заданном файле."""
try:
with open(data_file, "r") as f:
numbers = [int(line.strip()) for line in f.readlines()]
smallest_num = min(numbers)
return smallest_num
except ValueError as e:
print(f"Ошибка при преобразовании строк в числа: {e}")
except Exception as e:
print(f"Ошибка чтения файла '{data_file}': {e}")
return None
def cube_number(num):
"""Возвращает куб заданного числа."""
return num**3
def write_result(result_file, result):
"""Записывает результат в файл."""
try:
with open(result_file, "w") as f:
f.write(str(result))
print(f"Результат '{result}' успешно записан в '{result_file}'.")
except Exception as e:
print(f"Ошибка записи результата в файл '{result_file}': {e}")
def main():
smallest_num = find_smallest_number(DATA_FILE)
if smallest_num is not None:
result = cube_number(smallest_num)
write_result(RESULT_FILE, result)
print(result)
else:
print("Нет чисел в файле.")
if __name__ == "__main__":
main()

View File

@@ -0,0 +1,21 @@
services:
#Первый скрипт
first:
#Указание директории для сборки первого скрипта
build: ./FirstProgram/
#Монтирование 2 каталогов из хост системы
volumes:
- ./data:/var/data
- ./result_first:/var/result
#Второй скрипт
second:
#Указание директории для сборки второго скрипта
build: ./SecondProgram/
#Задание очередности запуска с помощью depends_on
depends_on:
- first
#Монтирование 2 каталогов из хост системы
volumes:
- ./result_first:/var/data
- ./result_second:/var/result

View File

@@ -1,2 +0,0 @@
/.venv
/.idea

View File

@@ -1,27 +0,0 @@
# Цуканова Ирина ПИбд-32
# Лабораторная работа №3 - REST API, Gateway и синхронный обмен между микросервисами
### Язык разработки приложений: Python
## Выбранные сущности:
- Автор. Содержит Uuid, Name, Surname
- Книга. Содержит Uuid, Title, Year, Author_id
## Описание:
Для каждой сущности были реализованы стандартные CRUD-операции: получение всех записей, получение конкретной записи,
создание записи, изменение записи, удаление записи.
Дополнительно для сущности Автор прописаны:
1. Получение автора со списком его книг(с полной информацией). При этом сервис взаимодействует с другим сервисом,
чтобы получить список книг по идентификатору автора.
2. Операция проверка наличия автора по идентификатору. Это нужно для сервиса книг.
Дополнительно для сущности Книга прописаны:
1. Получение списка записей с полной информацией об авторе (не только идентификатор).
2. Получение списка записей по идентификатору автора. Это нужно для сервиса авторов.
3. Получение конкретной записи с полной информацией об авторе.
## [Видео](https://drive.google.com/file/d/10qXA-jS9QIX5DnYjSAHlEhLx0OyKEk0W/view?usp=sharing)

View File

@@ -1,17 +0,0 @@
# Использую базовый образ Python
FROM python:3.12-slim
# Устанавливаю рабочую директорию внутри контейнера
WORKDIR /app
# Копирую файл requirements.txt в контейнер
COPY requirements.txt .
# Устанавливаю зависимости
RUN pip install --no-cache-dir -r requirements.txt
# Копирую все файлы в контейнер
COPY author_service/author_service.py .
# Команда для запуска Python-скрипта
CMD ["python", "author_service.py"]

View File

@@ -1,128 +0,0 @@
from flask import Flask, jsonify, request
from uuid import uuid4
import uuid
import requests
class Author:
def __init__(self, name, surname, uuid_: uuid):
if uuid_ is None:
self.uuid_: uuid = uuid4()
else:
self.uuid_: uuid = uuid.UUID(uuid_)
self.name: str = name
self.surname: str = surname
def to_dict(self):
return {
"uuid": self.uuid_,
"name": self.name,
"surname": self.surname
}
def to_dict_with_books(self, books: list):
return {
"uuid": self.uuid_,
"name": self.name,
"surname": self.surname,
"books": books
}
app = Flask(__name__)
authors: list[Author] = [
Author(name='Leon', surname='Kane', uuid_='997aa4c5-ebb2-4794-ba81-e742f9f1fa30'),
Author(name='James', surname='Rasal', uuid_='694827e4-0f93-45a5-8f75-bad7ef2d21fe'),
Author(name='Tess', surname='Root', uuid_='eb815350-c7b9-4446-8434-4c0640c21995')
]
books_url = 'http://book_service:20002/'
def list_jsonify():
return jsonify([author.to_dict() for author in authors])
# получение списка всех авторов
@app.route('/', methods=['GET'])
def get_all():
return list_jsonify(), 200
# получение автора по идентификатору
@app.route('/<uuid:uuid_>', methods=['GET'])
def get_one(uuid_):
for author in authors:
if author.uuid_ == uuid_:
return author.to_dict(), 200
return 'Автор с таким uuid не был найден', 404
# получение автора со списком его книг
@app.route('/with-books/<uuid:uuid_>', methods=['GET'])
def get_one_with_books(uuid_):
for author in authors:
if author.uuid_ == uuid_:
response = requests.get(books_url + f'by-author/{uuid_}')
print(response.json())
return author.to_dict_with_books(response.json()), 200
return 'Автор с таким uuid не был найден', 404
# проверка наличия автора по его идентификатору (для book_service)
@app.route('/check/<uuid:uuid_>', methods=['GET'])
def check_exist(uuid_):
for author in authors:
if author.uuid_ == uuid_:
return '', 200
return '', 404
# создание автора
@app.route('/', methods=['POST'])
def create():
data = request.json
name = data.get('name', None)
surname = data.get('surname', None)
if name is None or surname is None:
return 'Недостаточно полей для создания нового автора', 404
new_author = Author(name, surname, None)
authors.append(new_author)
return get_one(new_author.uuid_)
# изменение автора по идентификатору
@app.route('/<uuid:uuid_>', methods=['PUT'])
def update_by_id(uuid_):
data = request.json
new_name = data.get('name', None)
new_surname = data.get('surname', None)
for author in authors:
if author.uuid_ == uuid_:
if new_name is not None:
author.name = new_name
if new_surname is not None:
author.surname = new_surname
return get_one(author.uuid_)
return 'Автор с таким uuid не был найден', 404
# удаление автора по идентификатору
@app.route('/<uuid:uuid_>', methods=['DELETE'])
def delete(uuid_):
for author in authors:
if author.uuid_ == uuid_:
authors.remove(author)
return 'Автор успешно удален', 200
return 'Автор с таким uuid не был найден', 404
if __name__ == '__main__':
app.run(host='0.0.0.0', port=20001, debug=True)

View File

@@ -1,17 +0,0 @@
# Использую базовый образ Python
FROM python:3.12-slim
# Устанавливаю рабочую директорию внутри контейнера
WORKDIR /app
# Копирую файл requirements.txt в контейнер
COPY requirements.txt .
# Устанавливаю зависимости
RUN pip install --no-cache-dir -r requirements.txt
# Копирую все файлы в контейнер
COPY book_service/book_service.py .
# Команда для запуска Python-скрипта
CMD ["python", "book_service.py"]

View File

@@ -1,163 +0,0 @@
from flask import Flask, jsonify, request
import requests
from uuid import uuid4
import uuid
class Book:
def __init__(self, title, year, uuid_: uuid, author_id: uuid):
if uuid_ is None:
self.uuid_: uuid = uuid4()
else:
self.uuid_: uuid = uuid.UUID(uuid_)
self.title: str = title
self.year: int = year
self.author_id: uuid = uuid.UUID(author_id)
def to_dict(self):
return {
'title': self.title,
'year': self.year,
'author_id': self.author_id,
'uuid': self.uuid_
}
def to_dict_for_authors(self):
return {
'title': self.title,
'year': self.year,
'uuid': self.uuid_
}
def to_dict_with_info(self, author: dict):
return {
'title': self.title,
'year': self.year,
'author_id': self.author_id,
'author_info': author,
'uuid': self.uuid_
}
app = Flask(__name__)
books: list[Book] = [
Book(title='Garden', year=1977, uuid_='89fa1e7a-7e88-445e-a4d8-6d4497ea8f19',
author_id='997aa4c5-ebb2-4794-ba81-e742f9f1fa30'),
Book(title='New York', year=1989, uuid_='0351ee11-f11b-4d83-b2c8-1075b0c357dc',
author_id='694827e4-0f93-45a5-8f75-bad7ef2d21fe'),
Book(title='The story of flowers', uuid_='dfc17619-7690-47aa-ae8e-6a5068f8ddec', year=1977,
author_id='eb815350-c7b9-4446-8434-4c0640c21995'),
Book(title='Little Rock', year=1990, uuid_='3fad0e6b-cefc-40dd-99c0-adc5ec0290d2',
author_id='694827e4-0f93-45a5-8f75-bad7ef2d21fe'),
Book(title='One Piece', year=1994, uuid_='cf0cf26e-c1c6-43ea-bf59-1f8edb180e41',
author_id='694827e4-0f93-45a5-8f75-bad7ef2d21fe'),
Book(title='Black clover', year=1940, uuid_='2ac3c734-21ad-4450-884d-7de1f5452b9d',
author_id='eb815350-c7b9-4446-8434-4c0640c21995'),
]
authors_url = 'http://author_service:20001/'
def list_jsonify():
return jsonify([book.to_dict() for book in books])
# получить список книг без подробной инфы об авторе
@app.route('/', methods=['GET'])
def get_all():
return list_jsonify(), 200
# получение всех книг с информацией об авторе
@app.route('/full', methods=['GET'])
def get_all_full():
authors: list[dict] = requests.get(authors_url).json()
response = []
for book in books:
for author in authors:
if book.author_id == uuid.UUID(author.get('uuid')):
response.append(book.to_dict_with_info(author))
return response, 200
# получение списка книг по идентификатору автора (для author_service)
@app.route('/by-author/<uuid:author_uuid>', methods=['GET'])
def get_by_author_id(author_uuid):
return [book.to_dict_for_authors() for book in books if book.author_id == author_uuid], 200
# получение книги по идентификатору
@app.route('/<uuid:uuid_>', methods=['GET'])
def get_one(uuid_):
for book in books:
if book.uuid_ == uuid_:
return book.to_dict(), 200
return 'Книга с таким uuid не была найдена', 404
# получение книги по идентификатору с инфой об авторе
@app.route('/full/<uuid:uuid_>', methods=['GET'])
def get_one_full(uuid_):
for book in books:
if book.uuid_ == uuid_:
response = requests.get(authors_url + str(book.author_id))
return book.to_dict_with_info(response.json()), 200
return 'Книга с таким uuid не была найдена', 404
# создание новой книги
@app.route('/', methods=['POST'])
def create():
data = request.json
title = data.get('title', None)
year = data.get('year', None)
author_id = data.get('author_id', None)
checking = requests.get(authors_url + f'/check/{author_id}')
print(checking)
if checking.status_code == 200:
new_book = Book(title, year, None, author_id)
books.append(new_book)
return get_one(new_book.uuid_)
if checking.status_code == 404:
return 'Автор с таким uuid не существует', 404
return 'Неизвестная ошибка', 500
# изменение книги по идентификатору
@app.route('/<uuid:uuid_>', methods=['PUT'])
def update_by_id(uuid_):
data = request.json
new_title = data.get('title', None)
new_year = data.get('year', None)
for book in books:
print(book.uuid_)
if book.uuid_ == uuid_:
if new_title is not None:
book.title = new_title
if new_year is not None:
book.year = new_year
return get_one(book.uuid_)
return 'Книга с таким uuid не была найдена', 404
# удаление книги по идентификатору
@app.route('/<uuid:uuid_>', methods=['DELETE'])
def delete(uuid_):
for book in books:
if book.uuid_ == uuid_:
books.remove(book)
return 'Книга успешно удалена', 200
return 'Книга с таким uuid не была найдена', 404
if __name__ == '__main__':
app.run(host='0.0.0.0', port=20002, debug=True)

View File

@@ -1,27 +0,0 @@
services:
author_service:
container_name: author_service
build:
context: .
dockerfile: ./author_service/Dockerfile
expose:
- 20001
book_service:
container_name: book_service
build:
context: .
dockerfile: ./book_service/Dockerfile
expose:
- 20002
nginx:
image: nginx:latest
ports:
- "80:80"
volumes:
- ./nginx.conf:/etc/nginx/nginx.conf
depends_on:
- author_service
- book_service

View File

@@ -1,26 +0,0 @@
events { worker_connections 1024; }
http {
server {
listen 80;
listen [::]:80;
server_name localhost;
location /author_service/ {
proxy_pass http://author_service:20001/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
location /book_service/ {
proxy_pass http://book_service:20002/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
}