basharin_sevastyan_lab_3/README.md

@@ -1,93 +0,0 @@
-## Лабораторная работа 3. Вариант 4.
-### Задание 
-Выполнить ранжирование признаков и решить с помощью библиотечной реализации дерева решений 
-задачу классификации на 99% данных из курсовой работы. Проверить 
-работу модели на оставшемся проценте, сделать вывод.
-
-Модель:
-- Дерево решений `DecisionTreeClassifier`.
-
-### Как запустить
-Для запуска программы необходимо с помощью командной строки в корневой директории файлов прокета прописать:
-``` python
-python main.py
-```
-
-### Используемые технологии
-- Библиотека `pandas`, используемая для работы с данными для анализа scv формата.
-- `sklearn` (scikit-learn): Scikit-learn - это библиотека для машинного обучения и анализа данных в Python. Из данной библиотеки были использованы следующие модули:
-  - `metrics` - набор инструменов для оценки моделей
-  - `DecisionTreeClassifier` - классификатор, реализующий алгоритм дерева решений. Дерево решений - это модель машинного обучения, которая разбивает данные на рекурсивные решения на основе значений признаков. Она используется для задач классификации и регрессии.
-  - `accuracy_score` -функция из scikit-learn, которая используется для оценки производительности модели классификации путем вычисления доли правильно классифицированных примеров (точности) на тестовом наборе данных.
-  - `train_test_split` - это функция из scikit-learn, используемая для разделения набора данных на обучающий и тестовый наборы.
-  - `LabelEncoder` - это класс из scikit-learn, используемый для преобразования категориальных признаков (например, строки) в числовые значения.
-
-### Описание работы
-#### Описание набора данных
-Набор данных: набор данных о цене автомобиля в автопарке.
-
-Названия столбцов набора данных и их описание:
-
-- Id: Уникальный идентификатор для каждого автомобиля в списке.
-- Price: Ценовой диапазон автомобилей с конкретными ценниками и подсчетами. (111000 - 77500000)
-- Company Name: Название компании-производителя автомобилей с указанием процентной доли представительства каждой компании.
-- Model Name: Название модели автомобилей с указанием процентного соотношения каждой модели.
-- Model Year: Диапазон лет выпуска автомобилей с указанием количества и процентных соотношений. (1990 - 2019)
-- Location: Местоположение автомобилей с указанием регионов, где они доступны для покупки, а также их процентное соотношение.
-- Mileage: Информация о пробеге автомобилей с указанием диапазонов пробега, количества и процентов. (1 - 999999)
-- Engine Type: Описания типов двигателей с процентными соотношениями для каждого типа.
-- Engine Capacity: Мощность двигателя варьируется в зависимости от количества и процентов. (16 - 6600)
-- Color: Цветовое распределение автомобилей с указанием процентных соотношений для каждого цвета.
-- Assembly: Импорт или местный рынок.
-- Body Type: Тип кузова.
-- Transmission Type: Тип трансмиссии.
-- Registration Status: Статус регистрации.
-
-Ссылка на страницу набора на kuggle: [Ultimate Car Price Prediction Dataset](https://www.kaggle.com/datasets/mohidabdulrehman/ultimate-car-price-prediction-dataset/data)
-
-#### Оцифровка и нормализация данных
-Для нормальной работы с данными, необходимо исключить из них все нечисловые значения. 
-После этого, представить все строковые значения параметров как числовые и очистить датасет от "мусора". 
-Для удаления нечисловых значений воспользуемся функцией `.dropna()`.
-Так же мы удаляем первый столбец `Id`, так как при открытии файла в `pd` он сам нумерует строки.
-
-Все нечисловые значения мы преобразуем в числовые с помощью `LabelEncoder`:
-```python
-label_encoder = LabelEncoder()
-data['Location'] = label_encoder.fit_transform(data['Location'])
-data['Company Name'] = label_encoder.fit_transform(data['Company Name'])
-data['Model Name'] = label_encoder.fit_transform(data['Model Name'])
-data['Engine Type'] = label_encoder.fit_transform(data['Engine Type'])
-data['Color'] = label_encoder.fit_transform(data['Color'])
-data['Assembly'] = label_encoder.fit_transform(data['Assembly'])
-data['Body Type'] = label_encoder.fit_transform(data['Body Type'])
-data['Transmission Type'] = label_encoder.fit_transform(data['Transmission Type'])
-data['Registration Status'] = label_encoder.fit_transform(data['Registration Status'])
-```
-
-#### Выявление значимых параметров
-```python
-# Оценка важности признаков
-feature_importances = clf.feature_importances_
-feature_importance_df = pd.DataFrame({'Feature': X_train.columns, 'Importance': feature_importances})
-feature_importance_df = feature_importance_df.sort_values(by='Importance', ascending=False)
-```
-
-#### Решение задачи кластеризации на полном наборе признаков 
-Чтобы решить задачу кластеризации моделью `DecisionTreeClassifier`, воспользуемся методом `.predict()`.
-```python
-clf = DecisionTreeClassifier(max_depth=5, random_state=42)
-clf.fit(X_train, y_train)
-y_pred = clf.predict(X_test)
-```
-
-#### Оценка эффективности
-Для оценки точности модели будем использовать встроенный инструмент `accuracy_score`:
-```python
-accuracy = accuracy_score(y_test, y_pred)
-```
-
-#### Результаты
-![](accuracy.png "Точность")
-
-![](important.png "Важность признаков")

basharin_sevastyan_lab_3/main.py

@@ -1,78 +0,0 @@
-import pandas as pd
-from sklearn.tree import DecisionTreeClassifier
-from sklearn.metrics import accuracy_score
-from sklearn.model_selection import train_test_split
-from sklearn.preprocessing import LabelEncoder
-
-''' Названия столбцов набора данных и их описание:
-Id: Уникальный идентификатор для каждого автомобиля в списке.
-Price: Ценовой диапазон автомобилей с конкретными ценниками и подсчетами. (111000 - 77500000)
-Company Name: Название компании-производителя автомобилей с указанием процентной доли представительства каждой компании.
-Model Name: Название модели автомобилей с указанием процентного соотношения каждой модели.
-Model Year: Диапазон лет выпуска автомобилей с указанием количества и процентных соотношений. (1990 - 2019)
-Location: Местоположение автомобилей с указанием регионов, где они доступны для покупки, а также их процентное соотношение.
-Mileage: Информация о пробеге автомобилей с указанием диапазонов пробега, количества и процентов. (1 - 999999)
-Engine Type: Описания типов двигателей с процентными соотношениями для каждого типа.
-Engine Capacity: Мощность двигателя варьируется в зависимости от количества и процентов. (16 - 6600)
-Color: Цветовое распределение автомобилей с указанием процентных соотношений для каждого цвета.
-'''
-
-
-# Загрузите данные из вашей курсовой работы, предположим, что у вас есть файл CSV.
-data = pd.read_csv('Data_pakwheels.csv')
-data.pop("Id")
-
-data.dropna(inplace=True)  # Удаление строки с пропущенными значениями.
-
-# Преобразуйте категориальные признаки в числовые. Используйте, например, one-hot encoding.
-# data = pd.get_dummies(data, columns=['Company Name', 'Model Name', 'Location', 'Engine Type', 'Color'])
-
-# Создайте объект LabelEncoder
-label_encoder = LabelEncoder()
-
-data['Location'] = label_encoder.fit_transform(data['Location'])
-data['Company Name'] = label_encoder.fit_transform(data['Company Name'])
-data['Model Name'] = label_encoder.fit_transform(data['Model Name'])
-data['Engine Type'] = label_encoder.fit_transform(data['Engine Type'])
-data['Color'] = label_encoder.fit_transform(data['Color'])
-data['Assembly'] = label_encoder.fit_transform(data['Assembly'])
-data['Body Type'] = label_encoder.fit_transform(data['Body Type'])
-data['Transmission Type'] = label_encoder.fit_transform(data['Transmission Type'])
-data['Registration Status'] = label_encoder.fit_transform(data['Registration Status'])
-
-# Разделение данных на обучающий набор и тестовый набор. Мы будем использовать 99% данных для обучения.
-train_data, test_data = train_test_split(data, test_size=0.01, random_state=42)
-
-# Определите целевую переменную (то, что вы пытаетесь предсказать, например, 'Price').
-X_train = train_data.drop(columns=['Price'])
-y_train = train_data['Price']
-X_test = test_data.drop(columns=['Price'])
-y_test = test_data['Price']
-
-# Создание и обучение модели DecisionTreeClassifier
-clf = DecisionTreeClassifier(random_state=42)
-clf.fit(X_train, y_train)
-
-# Оценка важности признаков
-feature_importances = clf.feature_importances_
-
-# Создание DataFrame с именами признаков и их важностью
-feature_importance_df = pd.DataFrame({'Feature': X_train.columns, 'Importance': feature_importances})
-
-# Сортировка признаков по убыванию важности
-feature_importance_df = feature_importance_df.sort_values(by='Importance', ascending=False)
-
-# Вывод ранжированных признаков
-print(feature_importance_df)
-
-clf = DecisionTreeClassifier(max_depth=5, random_state=42)
-
-# Обучите модель на обучающем наборе данных
-clf.fit(X_train, y_train)
-
-# Предсказание целевой переменной на тестовом наборе данных
-y_pred = clf.predict(X_test)
-
-# Оцените производительность модели с помощью различных метрик
-accuracy = accuracy_score(y_test, y_pred)
-print(f'Точность модели: {accuracy}')