84 lines
5.3 KiB
Markdown
84 lines
5.3 KiB
Markdown
|
# Лаб 2
|
|||
|
|
|
|||
|
|
Ранжирование признаков
|
|||
|
|
|
|||
|
|
Выполните ранжирование признаков с помощью указанных по варианту моделей.
|
|||
|
|
Отобразите получившиеся значения\оценки каждого признака каждым методом\моделью и среднюю оценку.
|
|||
|
|
Проведите анализ получившихся результатов.
|
|||
|
|
Какие четыре признака оказались самыми важными по среднему значению?
|
|||
|
|
(Названия\индексы признаков и будут ответом на задание).
|
|||
|
|
|
|||
|
|
# Вариант 3
|
|||
|
|
|
|||
|
|
Линейная регрессия (LinearRegression) , Сокращение признаков
|
|||
|
|
Случайными деревьями (Random Forest Regressor), Линейная корреляция
|
|||
|
|
(f_regression)
|
|||
|
|
|
|||
|
|
Я использовал датасет Predict students' dropout and academic success
|
|||
|
|
https://www.kaggle.com/datasets/thedevastator/higher-education-predictors-of-student-retention
|
|||
|
|
Он используется мной по заданию на курсовую работу
|
|||
|
|
|
|||
|
|
# Запуск
|
|||
|
|
|
|||
|
|
Выполнением скрипта файла (вывод в консоль).
|
|||
|
|
|
|||
|
|
# Модели:
|
|||
|
|
|
|||
|
|
1. Линейная регрессия (LinearRegression)
|
|||
|
|
1. Сокращение признаков cлучайными деревьями (Random Forest Regressor)
|
|||
|
|
1. Линейная корреляция (f_regression)
|
|||
|
|
|
|||
|
|
# Пояснения
|
|||
|
|
|
|||
|
|
<div>
|
|||
|
|
Выбор наиболее подходящего метода ранжирования объектов зависит от специфики набора данных и требований
|
|||
|
|
к модели.
|
|||
|
|
|
|||
|
|
Линейная регрессия - это простой и понятный метод, который может быть использован для предсказания значений.
|
|||
|
|
Он хорошо работает, если зависимость между переменными является линейной.
|
|||
|
|
Однако, если данные содержат сложные нелинейные зависимости, линейная регрессия может
|
|||
|
|
оказаться не очень эффективной.
|
|||
|
|
|
|||
|
|
Уменьшение признаков с помощью случайных деревьев (Random Forest Regressor) - это мощный метод,
|
|||
|
|
который способен обрабатывать сложные взаимосвязи в данных, даже если они нелинейные.
|
|||
|
|
Он основан на идее создания ансамбля деревьев решений, каждое из которых дает свой голос за
|
|||
|
|
наиболее подходящий ответ. Случайные леса обычно дают хорошие результаты и являются устойчивыми
|
|||
|
|
к переобучению.
|
|||
|
|
|
|||
|
|
Линейная корреляция или f_regression - это статистический метод, который используется для измерения
|
|||
|
|
степени связи между двумя переменными. Он может помочь определить, есть ли вообще связь между переменными,
|
|||
|
|
но не подходит для ранжирования объектов.
|
|||
|
|
</div>
|
|||
|
|
|
|||
|
|
### 4 самых важных признака в среднем:
|
|||
|
|
1. Признак: Curricular units 2nd sem (approved), Оценка: 0.8428
|
|||
|
|
2. Признак: Tuition fees up to date, Оценка: 0.4797
|
|||
|
|
3. Признак: Curricular units 1st sem (approved), Оценка: 0.2986
|
|||
|
|
4. Признак: Curricular units 2nd sem (grade), Оценка: 0.2778
|
|||
|
|
|
|||
|
|
### 4 самых важных для lr_scores линейной регрессии:
|
|||
|
|
1. 0.3917 'Tuition fees up to date'
|
|||
|
|
2. 0.2791 'International'
|
|||
|
|
3. 0.2075 'Curricular units 2nd sem (approved)'
|
|||
|
|
4. 0.1481 'Debtor'
|
|||
|
|
|
|||
|
|
### 4 самых важных для rf_scores рандом forests:
|
|||
|
|
1. 0.4928 'Curricular units 2nd sem (approved)'
|
|||
|
|
2. 0.061 'Tuition fees up to date'
|
|||
|
|
3. 0.0458 'Curricular units 2nd sem (grade)'
|
|||
|
|
4. 0.0308 'Curricular units 1st sem (grade)'
|
|||
|
|
|
|||
|
|
### 4 самых важных для f_regression:
|
|||
|
|
1. 2822.104 'Curricular units 2nd sem (approved)'
|
|||
|
|
2. 2093.3315 'Curricular units 2nd sem (grade)'
|
|||
|
|
3. 1719.4229 'Curricular units 1st sem (approved)'
|
|||
|
|
4. 1361.6144 'Curricular units 1st sem (grade)'
|
|||
|
|
|
|||
|
|
### Объяснение:
|
|||
|
|
<div>
|
|||
|
|
В общем, выбор между линейной регрессией и случайными лесами зависит от характеристик данных.
|
|||
|
|
Если данные имеют линейную зависимость, то линейная регрессия будет предпочтительнее.
|
|||
|
|
Если данные содержат сложные, возможно нелинейные взаимосвязи, то Random Forest может быть лучшим выбором.
|
|||
|
|
В любом случае, важно провести предварительное исследование данных и тестирование различных моделей,
|
|||
|
|
чтобы выбрать наиболее подходящую.
|
|||
|
|
</div>
|