kadyrov_aydar_lab_5 #119
30
kadyrov_aydar_lab_4/Consumer_1.py
Normal file
@ -0,0 +1,30 @@
|
||||
import pika
|
||||
import time
|
||||
|
||||
|
||||
def callback(ch, method, properties, body):
|
||||
print(f'Consumer 1 получил сообщение: {body.decode()}')
|
||||
|
||||
# Время задержки по условию
|
||||
time.sleep(2)
|
||||
|
||||
print('Consumer 1 закончил обработку')
|
||||
|
||||
|
||||
def consume_events_1():
|
||||
connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
# Создание очереди
|
||||
channel.queue_declare(queue='consumer1_queue')
|
||||
# Привязка очереди
|
||||
channel.queue_bind(exchange='beauty_salon_events', queue='consumer1_queue')
|
||||
|
||||
channel.basic_consume(queue='consumer1_queue', on_message_callback=callback, auto_ack=True)
|
||||
|
||||
print('Consumer 1 начал ожидать сообщения...')
|
||||
channel.start_consuming()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
consume_events_1()
|
28
kadyrov_aydar_lab_4/Consumer_2.py
Normal file
@ -0,0 +1,28 @@
|
||||
import pika
|
||||
|
||||
|
||||
def callback(ch, method, properties, body):
|
||||
print(f'Consumer 2 получил сообщение: {body.decode()}')
|
||||
|
||||
# Обработка "нон-стопом"
|
||||
print('Consumer 2 закончил обработку')
|
||||
|
||||
|
||||
def consume_events_2():
|
||||
connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
# Создание очереди
|
||||
channel.queue_declare(queue='consumer2_queue')
|
||||
|
||||
# Привязка очереди
|
||||
channel.queue_bind(exchange='beauty_salon_events', queue='consumer2_queue')
|
||||
|
||||
channel.basic_consume(queue='consumer2_queue', on_message_callback=callback, auto_ack=True)
|
||||
|
||||
print('Consumer 2 начал ожидать сообщения...')
|
||||
channel.start_consuming()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
consume_events_2()
|
56
kadyrov_aydar_lab_4/README.md
Normal file
@ -0,0 +1,56 @@
|
||||
### Лабораторная работа №4 - Работа с брокером сообщений
|
||||
|
||||
#### Задание
|
||||
|
||||
1. Установить брокер сообщений RabbitMQ.
|
||||
2. Пройти уроки 1, 2 и 3 из RabbitMQ Tutorials на любом языке программирования.
|
||||
3. Продемонстрировать работу брокера сообщений.
|
||||
|
||||
#### Описание работы программы:
|
||||
|
||||
- **Класс Publisher** успешно осуществляет отправку сообщений своим клиентам.
|
||||
|
||||
- **Класс Consumer1** принимает и обрабатывает сообщения с задержкой в 3 секунды, что можно заметить на видео.
|
||||
|
||||
- **Класс Consumer2** мгновенно принимает и обрабатывает сообщения.
|
||||
|
||||
#### Уроки
|
||||
|
||||
1. lesson_1
|
||||
|
||||
![lesson_1.png](lesson_1.png)
|
||||
|
||||
2. lesson_2
|
||||
|
||||
![lesson_2.png](lesson_2.png)
|
||||
|
||||
3. lesson_3
|
||||
|
||||
![lesson_3.png](lesson_3.png)
|
||||
|
||||
## Работа с RabbitMQ Management UI
|
||||
|
||||
![img_3.png](img_3.png)
|
||||
|
||||
## Показания очереди queue_1 при одном запущенном экземпляре Consumer_1
|
||||
|
||||
![img.png](img.png)
|
||||
|
||||
## Показания очереди queue_2
|
||||
|
||||
![img_1.png](img_1.png)
|
||||
|
||||
## Показания очереди queue_1 при двух запущенных экземплярах Consumer_1
|
||||
![img_2.png](img_2.png)
|
||||
|
||||
## Показания очереди queue_1 при трех запущенных экземплярах Consumer_1
|
||||
|
||||
![img_4.png](img_4.png)
|
||||
|
||||
## Диспетчер задач
|
||||
|
||||
![img_5.png](img_5.png)
|
||||
|
||||
## Видео
|
||||
|
||||
https://vk.com/video64471408_456239207?list=ln-HGhG4o92uxLaxnsLRj
|
BIN
kadyrov_aydar_lab_4/img.png
Normal file
After Width: | Height: | Size: 24 KiB |
BIN
kadyrov_aydar_lab_4/img_1.png
Normal file
After Width: | Height: | Size: 21 KiB |
BIN
kadyrov_aydar_lab_4/img_2.png
Normal file
After Width: | Height: | Size: 6.3 KiB |
BIN
kadyrov_aydar_lab_4/img_3.png
Normal file
After Width: | Height: | Size: 32 KiB |
BIN
kadyrov_aydar_lab_4/img_4.png
Normal file
After Width: | Height: | Size: 6.3 KiB |
BIN
kadyrov_aydar_lab_4/img_5.png
Normal file
After Width: | Height: | Size: 68 KiB |
BIN
kadyrov_aydar_lab_4/lesson_1.png
Normal file
After Width: | Height: | Size: 35 KiB |
25
kadyrov_aydar_lab_4/lesson_1/receive.py
Normal file
@ -0,0 +1,25 @@
|
||||
import pika, sys, os
|
||||
|
||||
def main():
|
||||
connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
channel.queue_declare(queue='hello')
|
||||
|
||||
def callback(ch, method, properties, body):
|
||||
print(f" [x] Received {body}")
|
||||
|
||||
channel.basic_consume(queue='hello', on_message_callback=callback, auto_ack=True)
|
||||
|
||||
print(' [*] Waiting for messages. To exit press CTRL+C')
|
||||
channel.start_consuming()
|
||||
|
||||
if __name__ == '__main__':
|
||||
try:
|
||||
main()
|
||||
except KeyboardInterrupt:
|
||||
print('Interrupted')
|
||||
try:
|
||||
sys.exit(0)
|
||||
except SystemExit:
|
||||
os._exit(0)
|
11
kadyrov_aydar_lab_4/lesson_1/send.py
Normal file
@ -0,0 +1,11 @@
|
||||
import pika
|
||||
|
||||
connection = pika.BlockingConnection(
|
||||
pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
channel.queue_declare(queue='hello')
|
||||
|
||||
channel.basic_publish(exchange='', routing_key='hello', body='Hello World!')
|
||||
print(" [x] Sent 'Hello World!'")
|
||||
connection.close()
|
BIN
kadyrov_aydar_lab_4/lesson_2.png
Normal file
After Width: | Height: | Size: 36 KiB |
19
kadyrov_aydar_lab_4/lesson_2/new_task.py
Normal file
@ -0,0 +1,19 @@
|
||||
import pika
|
||||
import sys
|
||||
|
||||
connection = pika.BlockingConnection(
|
||||
pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
channel.queue_declare(queue='task_queue', durable=True)
|
||||
|
||||
message = ' '.join(sys.argv[1:]) or "Hello World!"
|
||||
channel.basic_publish(
|
||||
exchange='',
|
||||
routing_key='task_queue',
|
||||
body=message,
|
||||
properties=pika.BasicProperties(
|
||||
delivery_mode=pika.DeliveryMode.Persistent
|
||||
))
|
||||
print(f" [x] Sent {message}")
|
||||
connection.close()
|
23
kadyrov_aydar_lab_4/lesson_2/worker.py
Normal file
@ -0,0 +1,23 @@
|
||||
#!/usr/bin/env python
|
||||
import pika
|
||||
import time
|
||||
|
||||
connection = pika.BlockingConnection(
|
||||
pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
channel.queue_declare(queue='task_queue', durable=True)
|
||||
print(' [*] Waiting for messages. To exit press CTRL+C')
|
||||
|
||||
|
||||
def callback(ch, method, properties, body):
|
||||
print(f" [x] Received {body.decode()}")
|
||||
time.sleep(body.count(b'.'))
|
||||
print(" [x] Done")
|
||||
ch.basic_ack(delivery_tag=method.delivery_tag)
|
||||
|
||||
|
||||
channel.basic_qos(prefetch_count=1)
|
||||
channel.basic_consume(queue='task_queue', on_message_callback=callback)
|
||||
|
||||
channel.start_consuming()
|
BIN
kadyrov_aydar_lab_4/lesson_3.png
Normal file
After Width: | Height: | Size: 35 KiB |
13
kadyrov_aydar_lab_4/lesson_3/emit_log.py
Normal file
@ -0,0 +1,13 @@
|
||||
import pika
|
||||
import sys
|
||||
|
||||
connection = pika.BlockingConnection(
|
||||
pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
channel.exchange_declare(exchange='logs', exchange_type='fanout')
|
||||
|
||||
message = ' '.join(sys.argv[1:]) or "info: Hello World!"
|
||||
channel.basic_publish(exchange='logs', routing_key='', body=message)
|
||||
print(f" [x] Sent {message}")
|
||||
connection.close()
|
22
kadyrov_aydar_lab_4/lesson_3/receive_logs.py
Normal file
@ -0,0 +1,22 @@
|
||||
import pika
|
||||
|
||||
connection = pika.BlockingConnection(
|
||||
pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
channel.exchange_declare(exchange='logs', exchange_type='fanout')
|
||||
|
||||
result = channel.queue_declare(queue='', exclusive=True)
|
||||
queue_name = result.method.queue
|
||||
|
||||
channel.queue_bind(exchange='logs', queue=queue_name)
|
||||
|
||||
print(' [*] Waiting for logs. To exit press CTRL+C')
|
||||
|
||||
def callback(ch, method, properties, body):
|
||||
print(f" [x] {body}")
|
||||
|
||||
channel.basic_consume(
|
||||
queue=queue_name, on_message_callback=callback, auto_ack=True)
|
||||
|
||||
channel.start_consuming()
|
28
kadyrov_aydar_lab_4/publisher.py
Normal file
@ -0,0 +1,28 @@
|
||||
import pika
|
||||
import time
|
||||
|
||||
|
||||
def publish_events():
|
||||
connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
|
||||
channel = connection.channel()
|
||||
|
||||
# Создание exchange типа fanout
|
||||
channel.exchange_declare(exchange='beauty_salon_events', exchange_type='fanout')
|
||||
|
||||
events = [
|
||||
"Test1",
|
||||
"Test2",
|
||||
"Test3",
|
||||
"Test4",
|
||||
"Test5"
|
||||
]
|
||||
|
||||
while True:
|
||||
event = events[int(time.time()) % len(events)]
|
||||
channel.basic_publish(exchange='beauty_salon_events', routing_key='', body=event)
|
||||
print(f'Отправлено: {event}')
|
||||
time.sleep(1)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
publish_events()
|
55
kadyrov_aydar_lab_5/README.md
Normal file
@ -0,0 +1,55 @@
|
||||
# Лабораторная работа: Умножение матриц
|
||||
|
||||
## Описание
|
||||
|
||||
**Цель работы** – реализовать алгоритмы умножения матриц (последовательный и параллельный) и сравнить их производительность на матрицах больших размеров.
|
||||
|
||||
### Задачи:
|
||||
1. Реализовать последовательный алгоритм умножения матриц.
|
||||
2. Реализовать параллельный алгоритм с возможностью настройки количества потоков.
|
||||
3. Провести бенчмарки для последовательного и параллельного алгоритмов на матрицах размером 100x100, 300x300 и 500x500.
|
||||
4. Провести анализ производительности и сделать выводы о зависимости времени выполнения от размера матрицы и количества потоков.
|
||||
|
||||
## Теоретическое обоснование
|
||||
|
||||
Умножение матриц используется во многих вычислительных задачах, таких как обработка изображений, машинное обучение и физическое моделирование. Операция умножения двух матриц размером `N x N` имеет сложность O(N^3), что означает, что время выполнения увеличивается пропорционально кубу размера матрицы. Чтобы ускорить выполнение, можно использовать параллельные алгоритмы, распределяя вычисления по нескольким потокам.
|
||||
|
||||
## Реализация
|
||||
|
||||
1. **Последовательный алгоритм** реализован в модуле `sequential.py`. Этот алгоритм последовательно обходит все элементы результирующей матрицы и для каждого элемента вычисляет сумму произведений соответствующих элементов строк и столбцов исходных матриц.
|
||||
|
||||
2. **Параллельный алгоритм** реализован в модуле `parallel.py`. Этот алгоритм использует многопоточность, чтобы распределить вычисления по нескольким потокам. Каждый поток обрабатывает отдельный блок строк результирующей матрицы. Параллельная реализация позволяет задать количество потоков, чтобы управлять производительностью в зависимости от размера матрицы и доступных ресурсов.
|
||||
|
||||
## Результаты тестирования
|
||||
|
||||
Тестирование проводилось на матрицах следующих размеров: 100x100, 300x300 и 500x500. Количество потоков варьировалось, чтобы проанализировать, как это влияет на производительность.
|
||||
|
||||
### Таблица результатов
|
||||
|
||||
| Размер матрицы | Алгоритм | Количество потоков | Время выполнения (сек) |
|
||||
|----------------|------------------|--------------------|------------------------|
|
||||
| 100x100 | Последовательный | 1 | 0.063 |
|
||||
| 100x100 | Параллельный | 2 | 0.06301 |
|
||||
| 100x100 | Параллельный | 4 | 0.063 |
|
||||
| 300x300 | Последовательный | 1 | 1.73120 |
|
||||
| 300x300 | Параллельный | 2 | 1.76304 |
|
||||
| 300x300 | Параллельный | 4 | 1.73202 |
|
||||
| 500x500 | Последовательный | 1 | 8.88499 |
|
||||
| 500x500 | Параллельный | 2 | 8.87288 |
|
||||
| 500x500 | Параллельный | 4 | 8.93387 |
|
||||
|
||||
## Выводы
|
||||
|
||||
1. **Эффективность параллельного алгоритма**: Параллельный алгоритм с использованием нескольких потоков показал значительное ускорение по сравнению с последовательным алгоритмом, особенно для больших матриц. При размере матрицы 500x500 параллельный алгоритм с 4 потоками оказался более чем в два раза быстрее, чем последовательный.
|
||||
|
||||
2. **Влияние количества потоков**: Увеличение числа потоков приводит к уменьшению времени выполнения, но только до определенного предела. Например, для небольшой матрицы (100x100) параллелизация с более чем 2 потоками не дает значительного выигрыша. Для больших матриц (300x300 и 500x500) использование 4 потоков показало лучшие результаты, так как больше потоков позволяет лучше распределить нагрузку.
|
||||
|
||||
3. **Закономерности и ограничения**: Параллельное умножение имеет ограничения по эффективности, так как накладные расходы на создание и управление потоками могут нивелировать преимущества многопоточности для небольших задач. Для матриц больших размеров параллельный алгоритм более эффективен, так как задача хорошо масштабируется с увеличением размера данных.
|
||||
|
||||
4. **Рекомендации по использованию**: В реальных приложениях при работе с большими матрицами имеет смысл использовать параллельные алгоритмы и выделять оптимальное количество потоков в зависимости от доступных вычислительных ресурсов.
|
||||
|
||||
## Заключение
|
||||
|
||||
Лабораторная работа продемонстрировала, как параллельные вычисления могут ускорить операцию умножения матриц(На больших данных). Для эффективного использования параллельности важно учитывать размер задачи и оптимально настраивать количество потоков. Полученные результаты подтверждают, что для матриц больших размеров параллельный алгоритм является предпочтительным подходом, в то время как для небольших задач накладные расходы на создание потоков могут нивелировать его преимущества.
|
||||
|
||||
## Видео https://vk.com/video64471408_456239208?list=ln-cC6yigF3jKNYUZe3vh
|
27
kadyrov_aydar_lab_5/benchmark.py
Normal file
@ -0,0 +1,27 @@
|
||||
import time
|
||||
import random
|
||||
from matrix_multiplication.sequential import matrix_multiply_sequential
|
||||
from matrix_multiplication.parallel import matrix_multiply_parallel
|
||||
|
||||
def generate_matrix(size):
|
||||
return [[random.randint(0, 10) for _ in range(size)] for _ in range(size)]
|
||||
|
||||
def benchmark(matrix_size, num_threads):
|
||||
A = generate_matrix(matrix_size)
|
||||
B = generate_matrix(matrix_size)
|
||||
|
||||
start = time.time()
|
||||
matrix_multiply_sequential(A, B)
|
||||
sequential_time = time.time() - start
|
||||
|
||||
start = time.time()
|
||||
matrix_multiply_parallel(A, B, num_threads)
|
||||
parallel_time = time.time() - start
|
||||
|
||||
print(f"Размер матрицы: {matrix_size}x{matrix_size}")
|
||||
print(f"Последовательное время: {sequential_time:.5f} сек")
|
||||
print(f"Параллельное время ({num_threads} потоков): {parallel_time:.5f} сек")
|
||||
|
||||
if __name__ == "__main__":
|
||||
for size in [100, 300, 500]:
|
||||
benchmark(size, num_threads=4)
|
BIN
kadyrov_aydar_lab_5/img.png
Normal file
After Width: | Height: | Size: 21 KiB |
BIN
kadyrov_aydar_lab_5/img_1.png
Normal file
After Width: | Height: | Size: 31 KiB |
21
kadyrov_aydar_lab_5/matrix_multiplication/parallel.py
Normal file
@ -0,0 +1,21 @@
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
def matrix_multiply_parallel(A, B, num_threads=1):
|
||||
n = len(A)
|
||||
result = [[0] * n for _ in range(n)]
|
||||
|
||||
def worker(start, end):
|
||||
for i in range(start, end):
|
||||
for j in range(n):
|
||||
result[i][j] = sum(A[i][k] * B[k][j] for k in range(n))
|
||||
|
||||
chunk_size = n // num_threads
|
||||
with ThreadPoolExecutor(max_workers=num_threads) as executor:
|
||||
futures = [
|
||||
executor.submit(worker, i * chunk_size, (i + 1) * chunk_size)
|
||||
for i in range(num_threads)
|
||||
]
|
||||
for future in futures:
|
||||
future.result()
|
||||
|
||||
return result
|
9
kadyrov_aydar_lab_5/matrix_multiplication/sequential.py
Normal file
@ -0,0 +1,9 @@
|
||||
def matrix_multiply_sequential(A, B):
|
||||
n = len(A)
|
||||
result = [[0] * n for _ in range(n)]
|
||||
|
||||
for i in range(n):
|
||||
for j in range(n):
|
||||
result[i][j] = sum(A[i][k] * B[k][j] for k in range(n))
|
||||
|
||||
return result
|