Compare commits

...

15 Commits

Author SHA1 Message Date
bde242318f Странный комменатрии оставленный в 5 утра... 2024-10-06 00:35:20 +04:00
761cc83ebd Пабеда... 2024-10-06 00:33:30 +04:00
4699fda797 Фух, готово. Осталось ридми. 2024-10-05 23:40:53 +04:00
1e9bdf2806 Почти сделано. Исправить связи и сделать readme.md 2024-10-05 22:02:08 +04:00
5aa2cae670 init 2024-10-05 01:24:02 +04:00
8a96320fd5 Merge pull request 'bazunov_andrew_lab_1' (#33) from bazunov_andrew_lab_1 into main
Reviewed-on: Alexey/DAS_2024_1#33
2024-09-30 22:18:50 +04:00
bd25930973 Merge pull request 'tsukanova_irina_lab_2' (#32) from tsukanova_irina_lab_2 into main
Reviewed-on: Alexey/DAS_2024_1#32
2024-09-30 22:18:28 +04:00
7184d6d728 Обновить bazunov_andrew_lab_1/README.md 2024-09-25 15:44:25 +04:00
Bazunov Andrew Igorevich
6e7055efa4 update readme 2024-09-25 15:37:57 +04:00
Bazunov Andrew Igorevich
9e40adc53c edit docker compose 2024-09-25 15:19:28 +04:00
Bazunov Andrew Igorevich
4a36528cc7 Complete docker compose 2024-09-25 12:35:39 +04:00
ad3988e5fc добавлено видео 2024-09-25 10:58:41 +04:00
780b4b2924 add readme and fix 2024-09-25 10:51:07 +04:00
5047b16cde files 2024-09-24 16:56:39 +04:00
2b87427299 что-то есть 2024-09-24 16:55:37 +04:00
31 changed files with 705 additions and 0 deletions

2
bazunov_andrew_lab_1/.gitignore vendored Normal file
View File

@@ -0,0 +1,2 @@
ollama
./ollama

View File

@@ -0,0 +1,33 @@
# Распределенные вычисления и приложения Л1
## _Автор Базунов Андрей Игревич ПИбд-42_
В качестве сервисов были выбраны:
- 1.Ollama (_Сервис для использования LLMs моделей_)
- 2.Open Web Ui (_Сервис для удобного общения с моделью из сервиса Ollama_)
- 3.Gitea (_Гит сервис_)
# Docker
>Перед исполнением вполняем установку docker и проверяем версию
```sh
docker-compose --version
```
>Далее производим настройку файла docker-compose.yaml и запускаем контейнер
```sh
docker-compose up -d
```
>Для завершения работы контейнера используем команду
```sh
docker-compose down
```
---
> Замечание: после запуска контейнера, необходимо перейти в контейнер **ollamа** и выполнить установку модели [gemma2](https://ollama.com/library/gemma2:2b)
> ```sh
> docker-compose exec ollama ollama run ollama run gemma2:2b
> ```
---
Далее можно использовать веб сервис Open Web Ui по адресу **localhost:8080** для общения с моделью и Gitea по адресу **localhost:3000** - [демонстрация работы](https://vk.com/video/@viltskaa?z=video236673313_456239574%2Fpl_236673313_-2)

View File

@@ -0,0 +1,61 @@
services:
gitea: # Имя сервиса
image: gitea/gitea:latest # Имя образа
container_name: gitea # Имя контейнера, может быть произовольным
ports:
- "3000:3000" # Проброс порта Gitea на хост
volumes: # хранилище
- data:/data
environment: # переменные окружения
USER_UID: 1000
USER_GID: 1000
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: always
ports:
- 7869:11434
pull_policy: always
tty: true
volumes:
- .:/code
- ./ollama/ollama:/root/.ollama # Директория для данных Ollama
environment:
- OLLAMA_KEEP_ALIVE=24h
- OLLAMA_HOST=0.0.0.0 # Указываем хост для API Ollama
networks:
- ollama-docker
command: ["serve"] # Запускаем Ollama в режиме сервера
ollama-webui:
image: ghcr.io/open-webui/open-webui:main # Образ Open Web UI
container_name: ollama-webui
restart: unless-stopped
volumes:
- ./ollama/ollama-webui:/app/backend/data
ports:
- 8080:8080 # Порт для веб-интерфейса
environment: # https://docs.openwebui.com/getting-started/env-configuration#default_models
- OLLAMA_BASE_URLS=http://host.docker.internal:7869
- ENV=dev
- WEBUI_AUTH=False
- WEBUI_NAME=Viltskaa AI
- WEBUI_URL=http://localhost:8080
- WEBUI_SECRET_KEY=t0p-s3cr3t
depends_on:
- ollama
extra_hosts:
- host.docker.internal:host-gateway
networks:
- ollama-docker
networks:
ollama-docker:
external: false
volumes:
ollama:
driver: local
data:
driver: local

1
kashin_maxim_lab_3/.gitignore vendored Normal file
View File

@@ -0,0 +1 @@
.venv

View File

@@ -0,0 +1,53 @@
version: '3.8'
services:
university_service:
build:
context: ./university_service
depends_on:
- university_db
environment:
- FLASK_APP=app.py
expose:
- 8081
faculty_service:
build:
context: ./faculty_service
depends_on:
- faculty_db
environment:
- FLASK_APP=app.py
expose:
- 8082
university_db:
image: postgres
environment:
POSTGRES_USER: university_user
POSTGRES_PASSWORD: password
POSTGRES_DB: universitydb
ports:
- "5433:5432"
volumes:
- ./university_service/init.sql:/docker-entrypoint-initdb.d/init.sql
faculty_db:
image: postgres
environment:
POSTGRES_USER: faculty_user
POSTGRES_PASSWORD: password
POSTGRES_DB: facultydb
ports:
- "5434:5432"
volumes:
- ./faculty_service/init.sql:/docker-entrypoint-initdb.d/init.sql
nginx:
image: nginx
ports:
- 8086:8086
volumes:
- ./nginx.conf:/etc/nginx/nginx.conf
depends_on:
- university_service
- faculty_service

View File

@@ -0,0 +1,22 @@
FROM python:3.9-slim
# Установка зависимостей
RUN apt-get update && apt-get install -y \
gcc \
libpq-dev \
&& rm -rf /var/lib/apt/lists/*
# Установка рабочей директории
WORKDIR /app
# Копирование файлов
COPY requirements.txt requirements.txt
# Установка Python-зависимостей
RUN pip install --no-cache-dir -r requirements.txt
# Копирование всех файлов приложения
COPY . .
# Запуск приложения
CMD ["python", "app.py"]

View File

@@ -0,0 +1,57 @@
from flask import Flask, jsonify, request, Response
from service import FacultyService
from db import db
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'postgresql://faculty_user:password@faculty_db:5432/facultydb'
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
db.init_app(app)
faculty_service = FacultyService()
@app.route('/faculties', methods=['GET', 'POST'])
def handle_faculties():
if request.method == 'POST':
dto = request.get_json()['dto']
faculty = faculty_service.create_faculty(dto['name'], dto['university_id'])
if isinstance(faculty, dict):
return jsonify({"id": faculty['id'], "name": faculty['name'], "university_id": faculty['university_id']})
return jsonify({"id": faculty.id, "name": faculty.name, "university_id": faculty.university_id})
return jsonify(faculty_service.get_all_faculties())
@app.route('/faculties/<int:faculty_id>', methods=['GET', 'PUT', 'DELETE'])
def handle_faculty(faculty_id):
if request.method == 'PUT':
dto = request.get_json()['dto']
updated_faculty = faculty_service.update_faculty(faculty_id, dto['name'])
if updated_faculty:
return jsonify(updated_faculty)
else:
return Response(status=404)
elif request.method == 'DELETE':
faculty_service.delete_faculty(faculty_id)
return Response(status=200)
university = faculty_service.get_faculty(faculty_id)
return jsonify({"id": university.id, "name": university.name, "university_id": university.university_id})
@app.route('/faculties/<int:faculty_id>/universities', methods=['POST'])
def add_university(faculty_id):
dto = request.get_json()
university_id = dto['university_id']
faculty_service.add_university_to_faculty(faculty_id, university_id)
return Response(status=204)
@app.route('/faculties/<int:faculty_id>/universities/<int:university_id>', methods=['DELETE'])
def remove_university(faculty_id, university_id):
faculty_service.remove_university_from_faculty(faculty_id, university_id)
return Response(status=204)
if __name__ == '__main__':
app.run(host='0.0.0.0', use_reloader=False, port=8082)

View File

@@ -0,0 +1,19 @@
from flask_sqlalchemy import SQLAlchemy
db = SQLAlchemy()
class Faculty(db.Model):
id = db.Column(db.Integer, primary_key=True)
name = db.Column(db.String(100), nullable=False)
university_id = db.Column(db.Integer, nullable=False)
def to_dict(self):
return {
"id": self.id,
"name": self.name,
"university_id": self.university_id
}
class FacultyUniversity(db.Model):
faculty_id = db.Column(db.Integer, db.ForeignKey('faculty.id'), primary_key=True)
university_id = db.Column(db.Integer, db.ForeignKey('university.id'), primary_key=True)

View File

@@ -0,0 +1,16 @@
CREATE TABLE IF NOT EXISTS faculty (
id SERIAL PRIMARY KEY,
name VARCHAR(100) NOT NULL,
university_id INT NOT NULL
);
CREATE TABLE IF NOT EXISTS university (
id SERIAL PRIMARY KEY,
name VARCHAR(100) NOT NULL
);
CREATE TABLE IF NOT EXISTS faculty_university (
faculty_id INT REFERENCES faculty(id),
university_id INT REFERENCES university(id),
PRIMARY KEY (faculty_id, university_id)
);

View File

@@ -0,0 +1,3 @@
flask
flask_sqlalchemy
psycopg2

View File

@@ -0,0 +1,39 @@
from db import db, Faculty, FacultyUniversity
class FacultyService:
def get_all_faculties(self):
return [faculty.to_dict() for faculty in Faculty.query.all()]
def get_faculty(self, faculty_id):
return Faculty.query.get(faculty_id)
def create_faculty(self, name, university_id):
faculty = Faculty(name=name, university_id=university_id)
db.session.add(faculty)
db.session.commit()
return faculty
def update_faculty(self, faculty_id, name):
faculty = self.get_faculty(faculty_id)
if faculty:
faculty.name = name
db.session.commit()
return faculty.to_dict()
return None
def delete_faculty(self, faculty_id):
faculty = self.get_faculty(faculty_id)
if faculty:
db.session.delete(Faculty.query.get(faculty_id))
db.session.commit()
def add_university_to_faculty(self, faculty_id, university_id):
association = FacultyUniversity(faculty_id=faculty_id, university_id=university_id)
db.session.add(association)
db.session.commit()
def remove_university_from_faculty(self, faculty_id, university_id):
association = FacultyUniversity.query.filter_by(faculty_id=faculty_id, university_id=university_id).first()
if association:
db.session.delete(association)
db.session.commit()

View File

@@ -0,0 +1,27 @@
events {
worker_connections 1024;
}
http {
server {
listen 8086;
listen [::]:8086;
server_name localhost;
location /university_service/ {
proxy_pass http://university_service:8081/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Proto $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Prefix $scheme;
}
location /faculty_service/ {
proxy_pass http://faculty_service:8082/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Proto $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Prefix $scheme;
}
}
}

View File

@@ -0,0 +1,105 @@
# Кашин Максим ПИбд-42
# Проект "Университеты и Факультеты"
## Часть 1: Создание Docker
### Установка Docker и Docker Compose
Перед началом нужно проверить, что Docker работает, иначе использовать инструцию для 1-ой лабораторной.
### 1.1 Файл `docker-compose.yml`
В корне проекта файл `docker-compose.yml`. Этот файл будет описывать, как должны быть организованы сервисы. В данном случае рассматриваем только университет, в факультетах анологично.
```yaml
version: '3.8'
services:
university_service:
build:
context: ./university_service
depends_on:
- university_db
environment:
- FLASK_APP=app.py
expose:
- 8081
university_db:
image: postgres:13
environment:
POSTGRES_USER: university_user
POSTGRES_PASSWORD: password
POSTGRES_DB: universitydb
ports:
- "5432:5432"
```
Объяснение:
- `version`: Указывает версию Docker Compose.
- `services`: Определяет микросервисы. В данном случае, мы начинаем с `university_service`.
- `build`: Указывает, что нужно построить образ для этого сервиса, используя Dockerfile из указанной директории.
- `depends_on`: Указывает, что этот сервис зависит от `university_db` (базы данных), которая будет запущена первой.
- `environment`: Определяет переменные окружения для сервиса, в данном случае указывая файл Flask.
- `expose`: Указывает, что сервис будет доступен на порту 8081 внутри Docker-сети.
### 1.2 Файл Dockerfile для сервиса университетов
В каталоге `university_service` файл `Dockerfile`. Этот файл будет содержать инструкции для сборки образа сервиса университетов. В данном случае рассматриваем только университет, в факультетах анологично.
```dockerfile
FROM python:3.9-slim
# Установка зависимостей
RUN apt-get update && apt-get install -y \
gcc \
libpq-dev \
&& rm -rf /var/lib/apt/lists/*
# Установка рабочей директории
WORKDIR /app
# Копирование файлов
COPY requirements.txt requirements.txt
# Установка Python-зависимостей
RUN pip install --no-cache-dir -r requirements.txt
# Копирование всех файлов приложения
COPY . .
# Запуск приложения
CMD ["python", "app.py"]
```
### 1.3 Создание файла requirements.txt
В каталоге `university_service` файл `requirements.txt`, в котором перечислите все необходимые библиотеки для приложения. В данном случае рассматриваем только университет, в факультетах анологично.
```txt
flask
flask_sqlalchemy
psycopg2
```
### 1.5 Запуск Docker Compose
Когда все файлы созданы, можно запустить сервисы с помощью команды:
```bash
docker-compose up
```
Эта команда создаст и запустит все указанные в `docker-compose.yml` сервисы.
## Часть 2: Реализация функциональности
### 2.1 Создание сервиса для университетов
В каталоге `university_service` файл `app.py`,`service.py`,`db.py`. Этb файлы будут содержать код Flask приложения для управления университетами и базы данных для него.
### 2.2 Создание сервиса для факультетов
Каталог `faculty_service` и в нем файл `app.py`,`service.py`,`db.py`. Эти файлы будут содержать код для управления факультетами и базы данных для него.
### 2.3 Создание таблиц базы данных
Нужно создать таблицы базы данных для университетов и факультетов. Для этого созданы файлы init.sql для университета и для факультетов.
### 2.4 Тестирование API
Тестирование производится через расширение RestMan. В нем мы можем убедиться, что весь CRUD работает исправно.
## Часть 3: Ссылка на видео
[Видео-отчёт Кашин Максим ПИбд-42](https://disk.yandex.ru/i/F0Dh7RnpVL1Stg)

View File

@@ -0,0 +1,22 @@
FROM python:3.9-slim
# Установка зависимостей
RUN apt-get update && apt-get install -y \
gcc \
libpq-dev \
&& rm -rf /var/lib/apt/lists/*
# Установка рабочей директории
WORKDIR /app
# Копирование файлов
COPY requirements.txt requirements.txt
# Установка Python-зависимостей
RUN pip install --no-cache-dir -r requirements.txt
# Копирование всех файлов приложения
COPY . .
# Запуск приложения
CMD ["python", "app.py"]

View File

@@ -0,0 +1,54 @@
from flask import Flask, jsonify, request, Response
from service import UniversityService
from db import db
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'postgresql://university_user:password@university_db:5432/universitydb'
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
db.init_app(app)
university_service = UniversityService()
@app.route('/universities', methods=['GET', 'POST'])
def handle_universities():
if request.method == 'POST':
dto = request.get_json()['dto']
university = university_service.create_university(dto['name'])
return jsonify(university)
universities = university_service.get_all_universities()
return jsonify(universities)
@app.route('/universities/<int:university_id>', methods=['GET', 'PUT', 'DELETE'])
def handle_university(university_id):
if request.method == 'PUT':
dto = request.get_json()['dto']
updated_university = university_service.update_university(university_id, dto['name'])
return jsonify(updated_university) if updated_university else Response(status=404)
elif request.method == 'DELETE':
university_service.delete_university(university_id)
return Response(status=200)
university = university_service.get_university(university_id)
if university is None:
return Response(status=404)
return jsonify(university)
@app.route('/universities/<int:university_id>/faculties', methods=['POST'])
def add_faculty(university_id):
dto = request.get_json()
faculty_id = dto['faculty_id']
university_service.add_faculty_to_university(university_id, faculty_id)
return Response(status=204)
@app.route('/universities/<int:university_id>/faculties/<int:faculty_id>', methods=['DELETE'])
def remove_faculty(university_id, faculty_id):
university_service.remove_faculty_from_university(university_id, faculty_id)
return Response(status=204)
if __name__ == '__main__':
app.run(host='0.0.0.0', use_reloader=False, port=8081)

View File

@@ -0,0 +1,20 @@
from flask_sqlalchemy import SQLAlchemy
from datetime import datetime
db = SQLAlchemy()
class University(db.Model):
id = db.Column(db.Integer, primary_key=True)
name = db.Column(db.String(100), nullable=False)
established_at = db.Column(db.DateTime, default=datetime.utcnow)
def to_dict(self):
return {
"id": self.id,
"name": self.name,
"established_at": self.established_at.isoformat()
}
class FacultyUniversity(db.Model):
faculty_id = db.Column(db.Integer, db.ForeignKey('faculty.id'), primary_key=True)
university_id = db.Column(db.Integer, db.ForeignKey('university.id'), primary_key=True)

View File

@@ -0,0 +1,17 @@
CREATE TABLE IF NOT EXISTS university (
id SERIAL PRIMARY KEY,
name VARCHAR(100) NOT NULL,
established_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
CREATE TABLE IF NOT EXISTS faculty (
id SERIAL PRIMARY KEY,
name VARCHAR(100) NOT NULL
);
CREATE TABLE IF NOT EXISTS faculty_university (
faculty_id INT REFERENCES faculty(id),
university_id INT REFERENCES university(id),
PRIMARY KEY (faculty_id, university_id)
);

View File

@@ -0,0 +1,3 @@
flask
flask_sqlalchemy
psycopg2

View File

@@ -0,0 +1,42 @@
from db import db, University, FacultyUniversity
class UniversityService:
def get_all_universities(self):
return [university.to_dict() for university in University.query.all()]
def get_university(self, university_id):
university = University.query.get(university_id)
return university.to_dict() if university else None
def create_university(self, name):
university = University(name=name)
db.session.add(university)
db.session.commit()
return university.to_dict()
def update_university(self, university_id, name):
university = self.get_university(university_id)
if university:
university_obj = University.query.get(university_id)
university_obj.name = name
db.session.commit()
return university_obj.to_dict()
return None
def delete_university(self, university_id):
university = self.get_university(university_id)
if university:
db.session.delete(University.query.get(university_id))
db.session.commit()
def add_faculty_to_university(self, university_id, faculty_id):
association = FacultyUniversity(university_id=university_id, faculty_id=faculty_id)
db.session.add(association)
db.session.commit()
def remove_faculty_from_university(self, university_id, faculty_id):
association = FacultyUniversity.query.filter_by(university_id=university_id, faculty_id=faculty_id).first()
if association:
db.session.delete(association)
db.session.commit()

2
tsukanova_irina_lab_2/.gitignore vendored Normal file
View File

@@ -0,0 +1,2 @@
/.venv
/.idea

View File

@@ -0,0 +1,16 @@
# Цуканова Ирина ПИбд-32
# Лабораторная работа №2 - Разработка простейшего распределённого приложения
### Язык разработки приложений: Python
## Выбранные варианты
- Для программы 1: Ищет в каталоге ```/var/data``` самый большой по объёму файл и перекладывает его в ```/var/result/data.txt```.
- Для программы 2: Сохраняет произведение первого и последнего числа из файла ```/var/result/data.txt``` в ```/var/result/result.txt```.
## Описание:
Каждая программа лежит в своей папке, первая в worker-1, вторая в worker-2.
В этих же папках лежат Dockerfile'ы с инструкциями по сборке. В них присутствуют комментарии для значимых строк.
Монтированные папки ```data``` для ```/var/data``` и ```result``` для ```/var/result```.
## [Видео](https://drive.google.com/file/d/1eBbIDgTo3MF4EeM677EPEKgJEINekaC0/view?usp=drive_link)

View File

@@ -0,0 +1 @@
34 905 63 92 74 9 3 25 8 0 2 4 24 452 94 6 2 4 2 65 83 73 672 47 23 21 1

View File

@@ -0,0 +1 @@
4 9 6 320 75 348 12 75 94 63 45 23 3

View File

@@ -0,0 +1 @@
5 34 7 9 6 43 5 768 4 23 1 3 657 534 4 3 87 6 9 8 56 37 525 5 7 3 2 65 4 86 7 295 473 254 633 4 45 2

View File

@@ -0,0 +1,18 @@
services:
worker_one:
container_name: worker_one
build:
dockerfile: ./worker-1
volumes:
- ./data:/var/data
- ./result:/var/result
worker_two:
container_name: worker_two
build:
dockerfile: ./worker-2
volumes:
- ./result:/var/result
depends_on:
- worker_one

View File

@@ -0,0 +1 @@
5 34 7 9 6 43 5 768 4 23 1 3 657 534 4 3 87 6 9 8 56 37 525 5 7 3 2 65 4 86 7 295 473 254 633 4 45 2

View File

@@ -0,0 +1 @@
10

View File

@@ -0,0 +1,11 @@
# Использую базовый образ Python
FROM python:3.12-slim
# Устанавливаю рабочую директорию внутри контейнера
WORKDIR /app
# Копирую все файлы в контейнер
COPY worker_1.py .
# Команда для запуска Python-скрипта
CMD ["python", "worker_1.py"]

View File

@@ -0,0 +1,27 @@
import os
import shutil
# Ищет в каталоге /var/data самый большой по объёму файл и перекладывает его в /var/result/data.txt.
print("start worker_1")
dir_data = "/var/data"
dir_res = "/var/result"
if not os.path.exists(dir_data):
os.mkdir(dir_data)
if not os.path.exists(dir_res):
os.mkdir(dir_res)
largest_file = None
largest_size = 0
for root, dirs, files in os.walk(dir_data):
for file in files:
file_path = os.path.join(root, file)
file_size = os.path.getsize(file_path)
if file_size > largest_size:
largest_size = file_size
largest_file = file_path
if largest_file:
shutil.copyfile(largest_file, dir_res + "/data.txt")

View File

@@ -0,0 +1,11 @@
# Использую базовый образ Python
FROM python:3.12-slim
# Устанавливаю рабочую директорию внутри контейнера
WORKDIR /app
# Копирую все файлы в контейнер
COPY worker_2.py .
# Команда для запуска Python-скрипта
CMD ["python", "worker_2.py"]

View File

@@ -0,0 +1,19 @@
# Сохраняет произведение первого и последнего числа из файла /var/result/data.txt в /var/result/result.txt.
print("start worker_2")
with open('/var/result/data.txt', 'r') as f:
numbers = [int(num) for num in f.read().split() if num.isdigit()]
if numbers:
first_number = numbers[0]
last_number = numbers[-1]
result = first_number * last_number
with open('/var/result/result.txt', 'w') as f:
f.write(f"{result}\n")
print(f"Получен результат - {result}")
else:
print("Результат не получен. Файл не содержит чисел")