kochkareva_elizaveta_lab_4 is ready #196
BIN
kochkareva_elizaveta_lab_4/ElbowMethod.png
Normal file
BIN
kochkareva_elizaveta_lab_4/ElbowMethod.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 23 KiB |
BIN
kochkareva_elizaveta_lab_4/KMeansClustering.png
Normal file
BIN
kochkareva_elizaveta_lab_4/KMeansClustering.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 18 KiB |
300
kochkareva_elizaveta_lab_4/README.md
Normal file
300
kochkareva_elizaveta_lab_4/README.md
Normal file
@ -0,0 +1,300 @@
|
|||||||
|
|
||||||
|
# Лабораторная работа 4. Вариант 15
|
||||||
|
|
||||||
|
### Задание
|
||||||
|
Использовать алгоритм кластеризации *K-means*, самостоятельно сформулировав задачу. Интерпретировать результаты и оценить, насколько хорошо он подходит для решения сформулированной задачи.
|
||||||
|
|
||||||
|
### Как запустить лабораторную работу
|
||||||
|
Для запуска программы необходимо с помощью командной строки в корневой директории файлов прокета прописать:
|
||||||
|
```
|
||||||
|
python main.py
|
||||||
|
```
|
||||||
|
### Какие технологии использовали
|
||||||
|
- Библиотека *numpy* для работы с массивами.
|
||||||
|
- Библиотека *pandas* для работы с данными в формате таблицы.
|
||||||
|
- Библиотека *matplotlib pyplot* - для визуализации данных.
|
||||||
|
- Библиотека *sklearn*:
|
||||||
|
- *KMeans* для использования алгоритма кластеризации K-средних.
|
||||||
|
- *train_test_split* для разделения набора данных на обучающую и тестовую выборки.
|
||||||
|
- *LinearRegression* для создания и работы с моделью Линейной регрессии.
|
||||||
|
- RFE для рекурсивного отбора признаков
|
||||||
|
|
||||||
|
### Описание лабораторной работы
|
||||||
|
#### Сформулированная задача
|
||||||
|
Задача анализа, решаемые алгоритмом кластеризации: выделить локации (страны) с похожими характеристиками вакансий для определения региональных тенденций и особенностей рынка труда.
|
||||||
|
|
||||||
|
#### Оценка важности параметров
|
||||||
|
Прежде, чем перейти к решению поставленной задачи. Произведем анализ важности параметров, чтобы выделить наиболее существенные характеристики, которые влияют на выделение лакаций с похожиим характеристиками. Для этого создадим функцию `recursive_feature_elimination()`, где создаем копию исходного датафрейма `data` и присваивается переменной `df`. В `df` удаляем столбцы `"Country"` и `"location"` с помощью метода `drop()`, т.к. на данных столбца `"Country"` будем использовать как целеввые значения (заранее пропишем `y = data['Country']` общий для всех функций, которые создадим в дальнейшем). Данные разделяем на обучающую и тестовую выборки с использованием функции `train_test_split()`. Размер тестовой выборки составляет 20% от исходных данных. Разделенные данные сохраняются в переменные `X_train`, `X_test`, `y_train` и `y_test`. Задаем имена столбцов датасета в переменной `column_names`, которые будем использовать для вывода данных. Далее для ранжирования важности параметров создаем экземпляры модели линейной регрессии `LinearRegression()` и модели RFE, которую обучаем на обучающих данных с помощью метода `fit()`. Для сортировки полученных результатов воспользуемся функцией `rank_to_dict_rfe(ranking, names)` из прошлой лабораторной работы.
|
||||||
|
|
||||||
|
```python
|
||||||
|
def recursive_feature_elimination():
|
||||||
|
df = data.copy()
|
||||||
|
df.drop(["Country", "location"], axis=1, inplace=True)
|
||||||
|
X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)
|
||||||
|
column_names = ['Qualifications', 'Work Type', 'Company Size', 'Preference', 'Job Title', 'Role', 'Job Portal',
|
||||||
|
'skills', 'Company', 'Min Experience', 'Max Experience', 'Min Salary',
|
||||||
|
'Max Salary', 'Sector', 'Industry', 'City', 'State', 'Ticker', 'year', 'month', 'day',
|
||||||
|
"'Casual Dress Code, Social and Recreational Activities, Employee Referral Programs, Health and Wellness Facilities, Life and Disability Insurance'",
|
||||||
|
"'Childcare Assistance, Paid Time Off (PTO), Relocation Assistance, Flexible Work Arrangements, Professional Development'",
|
||||||
|
"'Employee Assistance Programs (EAP), Tuition Reimbursement, Profit-Sharing, Transportation Benefits, Parental Leave'",
|
||||||
|
"'Employee Referral Programs, Financial Counseling, Health and Wellness Facilities, Casual Dress Code, Flexible Spending Accounts (FSAs)'",
|
||||||
|
"'Flexible Spending Accounts (FSAs), Relocation Assistance, Legal Assistance, Employee Recognition Programs, Financial Counseling'",
|
||||||
|
"'Health Insurance, Retirement Plans, Flexible Work Arrangements, Employee Assistance Programs (EAP), Bonuses and Incentive Programs'",
|
||||||
|
"'Health Insurance, Retirement Plans, Paid Time Off (PTO), Flexible Work Arrangements, Employee Assistance Programs (EAP)'",
|
||||||
|
"'Legal Assistance, Bonuses and Incentive Programs, Wellness Programs, Employee Discounts, Retirement Plans'",
|
||||||
|
"'Life and Disability Insurance, Stock Options or Equity Grants, Employee Recognition Programs, Health Insurance, Social and Recreational Activities'",
|
||||||
|
"'Transportation Benefits, Professional Development, Bonuses and Incentive Programs, Profit-Sharing, Employee Discounts'",
|
||||||
|
"'Tuition Reimbursement, Stock Options or Equity Grants, Parental Leave, Wellness Programs, Childcare Assistance'"]
|
||||||
|
|
||||||
|
estimator = LinearRegression()
|
||||||
|
rfe_model = RFE(estimator)
|
||||||
|
rfe_model.fit(X_train.values, y_train.values)
|
||||||
|
ranks = rank_to_dict_rfe(rfe_model.ranking_, column_names)
|
||||||
|
sorted_dict = dict(sorted(ranks.items(), key=lambda x: x[1], reverse=True))
|
||||||
|
print(sorted_dict)
|
||||||
|
|
||||||
|
def rank_to_dict_rfe(ranking, names):
|
||||||
|
n_ranks = [float(1 / i) for i in ranking]
|
||||||
|
n_ranks = map(lambda x: round(x, 2), n_ranks)
|
||||||
|
return dict(zip(names, n_ranks))
|
||||||
|
```
|
||||||
|
После запуска функции `recursive_feature_elimination()`, получаем следующий результат:
|
||||||
|
```
|
||||||
|
{'Qualifications': 1.0, 'Work Type': 1.0, 'Preference': 1.0, 'Job Portal': 1.0, 'Min Experience': 1.0, "'Casual Dress Code, Social and Recreational Activities, Employee Referral Programs, Health and Wellness Facilities, Life and Disability Insurance'": 1.0, "'Childcare Assistance, Paid Time Off (PTO), Relocation Assistance, Flexible Work Arrangements, Professional Development'": 1.0, "'Employee Assistance Programs (EAP), Tuition Reimbursement, Profit-Sharing, Transportation Benefits, Parental Leave'": 1.0, "'Employee Referral Programs, Financial Counseling, Health and Wellness Facilities, Casual Dress Code, Flexible Spending Accounts (FSAs)'": 1.0, "'Flexible Spending Accounts (FSAs), Relocation Assistance, Legal Assistance, Employee Recognition Programs, Financial Counseling'": 1.0, "'Health Insurance, Retirement Plans, Flexible Work Arrangements, Employee Assistance Programs (EAP), Bonuses and Incentive Programs'": 1.0, "'Health Insurance, Retirement Plans, Paid Time Off (PTO), Flexible Work Arrangements, Employee Assistance Programs (EAP)'": 1.0, "'Legal Assistance, Bonuses and Incentive Programs, Wellness Programs, Employee Discounts, Retirement Plans'": 1.0, "'Life and Disability Insurance, Stock Options or Equity Grants, Employee Recognition Programs, Health Insurance, Social and Recreational Activities'": 1.0, "'Transportation Benefits, Professional Development, Bonuses and Incentive Programs, Profit-Sharing, Employee Discounts'": 1.0, "'Tuition Reimbursement, Stock Options or Equity Grants, Parental Leave, Wellness Programs, Childcare Assistance'": 1.0, 'month': 0.5, 'year': 0.33, 'Max Experience': 0.25, 'State': 0.2, 'day': 0.17, 'Sector': 0.14, 'Company': 0.12, 'Ticker': 0.11, 'Job Title': 0.1, 'Role': 0.09, 'Industry': 0.08, 'City': 0.08, 'skills': 0.07, 'Min Salary': 0.07, 'Company Size': 0.06, 'Max Salary': 0.06}
|
||||||
|
```
|
||||||
|
Как можно заметить, наиболее важными параметрами являются 'Qualifications': 1.0, 'Work Type': 1.0, 'Preference': 1.0, 'Job Portal': 1.0, 'Min Experience': 1.0 и все показатели льгот.
|
||||||
|
|
||||||
|
#### Оценка количества кластеров
|
||||||
|
Для оценки количества кластеров воспользуемся методом локтя - графический метод для оценки оптимального количества кластеров при использовании алгоритма k-means. Данный метод основан на расчете суммы квадратов расстояний между каждым объектом данных и центроидом его кластера. Эта сумма называется инерцией. Чем меньше инерция, тем лучше кластеризация.
|
||||||
|
|
||||||
|
Сначала создаем копию данных `df`, после чего удаляем ненужных столбцов из `df` с помощью метода `drop()`. Затем данные разделяем на обучающую и тестовую выборки с помощью функции `train_test_split()`.
|
||||||
|
Далее инициализируем пустой список `inertias`, который будет хранить значения инерции для различного количества кластеров. В цикле for перебираем значения `k` от 1 до 14. Внутри цикла создаем объект KMeans с параметром `n_clusters=k`, который выполняет кластеризацию обучающей выборки. Значение инерции для текущего количества кластеров добавляется в список `inertias`.
|
||||||
|
После завершения цикла строим график метода локтя, где по оси *x* отображается количество кластеров, а по оси *y* - значение инерции.
|
||||||
|
|
||||||
|
С помощью графика выберем точку, где изменение инерции становится менее значительным по сравнению с предыдущими значениями.
|
||||||
|
|
||||||
|
``` python
|
||||||
|
df = data.copy()
|
||||||
|
df.drop(['Country', 'location', 'Company Size', 'Job Title', 'Role',
|
||||||
|
'skills', 'Company', 'Max Experience', 'Min Salary',
|
||||||
|
'Max Salary', 'Sector', 'Industry', 'City', 'State', 'Ticker', 'year', 'month', 'day'
|
||||||
|
],
|
||||||
|
axis=1, inplace=True)
|
||||||
|
X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)
|
||||||
|
inertias = []
|
||||||
|
for k in range(1, 15):
|
||||||
|
kmeans = KMeans(n_clusters=k, random_state=1).fit(X_train.values, y_train.values)
|
||||||
|
inertias.append(np.sqrt(kmeans.inertia_))
|
||||||
|
plt.plot(range(1, 15), inertias, marker='o')
|
||||||
|
plt.xlabel('Number of clusters')
|
||||||
|
plt.ylabel('Inertia')
|
||||||
|
plt.title("Метод локтя")
|
||||||
|
plt.savefig('static/charts/ElbowMethod.png')
|
||||||
|
plt.close()
|
||||||
|
```
|
||||||
|
Выполним построение графика:
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Таким образом, с помощью метода локтя получилось визуально определить оптимальное количество кластеров для алгоритма k-means на основе значения инерции, равное 9.
|
||||||
|
|
||||||
|
#### Алгоритм кластеризации *K-means*
|
||||||
|
Для работы с алгоритмом кластеризации *K-means* создадим функцию `k_means()` . Сохраняем копию оригинальных данных в переменной `df`. Затем, из этой копии удаляем столбцы, которые имеют наименьшую важность. Далее, данные разделяем на обучающую и тестовую выборки с помощью функции `train_test_split`. Обучающие данные сохраняются в переменные `X_train` и `y_train`, а тестовые данные - в переменные `X_test` и `y_test`. Здесь `y` представляет собой целевую переменную. Затем, создаем объект `kmeans` класса KMeans с параметром `n_clusters=9`, что означает, что алгоритм будет искать 9 кластеров в данных. Обучение модели выполняется с помощью метода `fit`, передавая в него значения `X_train` и `y_train`.Далее, применяется обученная модель к тестовым данным с помощью метода `predict`, чтобы получить метки кластеров. Координаты центроидов кластеров сохраняются в переменной `centroids`.
|
||||||
|
|
||||||
|
```python
|
||||||
|
def k_means():
|
||||||
|
df = data.copy()
|
||||||
|
df.drop(['Country', 'location', 'Company Size', 'Preference', 'Job Title', 'Role', 'Job Portal',
|
||||||
|
'skills', 'Company', 'Min Experience', 'Max Experience', 'Min Salary',
|
||||||
|
'Max Salary', 'Sector', 'Industry', 'City', 'State', 'Ticker', 'year', 'month', 'day',
|
||||||
|
"'Casual Dress Code, Social and Recreational Activities, Employee Referral Programs, Health and Wellness Facilities, Life and Disability Insurance'",
|
||||||
|
"'Childcare Assistance, Paid Time Off (PTO), Relocation Assistance, Flexible Work Arrangements, Professional Development'",
|
||||||
|
"'Employee Assistance Programs (EAP), Tuition Reimbursement, Profit-Sharing, Transportation Benefits, Parental Leave'",
|
||||||
|
"'Employee Referral Programs, Financial Counseling, Health and Wellness Facilities, Casual Dress Code, Flexible Spending Accounts (FSAs)'",
|
||||||
|
"'Flexible Spending Accounts (FSAs), Relocation Assistance, Legal Assistance, Employee Recognition Programs, Financial Counseling'",
|
||||||
|
"'Health Insurance, Retirement Plans, Flexible Work Arrangements, Employee Assistance Programs (EAP), Bonuses and Incentive Programs'",
|
||||||
|
"'Health Insurance, Retirement Plans, Paid Time Off (PTO), Flexible Work Arrangements, Employee Assistance Programs (EAP)'",
|
||||||
|
"'Legal Assistance, Bonuses and Incentive Programs, Wellness Programs, Employee Discounts, Retirement Plans'",
|
||||||
|
"'Life and Disability Insurance, Stock Options or Equity Grants, Employee Recognition Programs, Health Insurance, Social and Recreational Activities'",
|
||||||
|
"'Transportation Benefits, Professional Development, Bonuses and Incentive Programs, Profit-Sharing, Employee Discounts'",
|
||||||
|
"'Tuition Reimbursement, Stock Options or Equity Grants, Parental Leave, Wellness Programs, Childcare Assistance'"],
|
||||||
|
axis=1, inplace=True)
|
||||||
|
X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)
|
||||||
|
kmeans = KMeans(n_clusters=9)
|
||||||
|
kmeans.fit(X_train.values, y_train.values)
|
||||||
|
labels = kmeans.predict(X_test.values)
|
||||||
|
centroids = kmeans.cluster_centers_
|
||||||
|
print("Метки кластеров:", labels)
|
||||||
|
print("Координаты центроидов:", centroids)
|
||||||
|
plt.scatter(X_test['Qualifications'], X_test['Work Type'], c=labels, cmap='viridis')
|
||||||
|
plt.scatter(centroids[:, 0], centroids[:, 1], marker='x', color='red')
|
||||||
|
plt.xlabel('Qualifications')
|
||||||
|
plt.ylabel('Work Type')
|
||||||
|
plt.title('KMeans Clustering')
|
||||||
|
plt.savefig('static/charts/KMeansClustering.png')
|
||||||
|
plt.close()
|
||||||
|
|
||||||
|
print("Уникальных Work Type :", data['Work Type'].nunique())
|
||||||
|
print("Уникальных Qualifications:", data['Qualifications'].nunique())
|
||||||
|
|
||||||
|
unique_labels = np.unique(labels)
|
||||||
|
for label in unique_labels:
|
||||||
|
indices = np.where(labels == label)
|
||||||
|
y_values = data_orig.loc[indices, 'Country']
|
||||||
|
print(f"Значения y для кластера {label}: {y_values}")
|
||||||
|
```
|
||||||
|
Выполним построение графика:
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Также выводим результаты работы алгоритма кластеризации в консоль, где можно увидеть подробные результаты разбиения на кластеры:
|
||||||
|
|
||||||
|
```
|
||||||
|
Значения y для кластера 0: 9 Antigua and Barbuda
|
||||||
|
16 San Marino
|
||||||
|
21 Tuvalu
|
||||||
|
22 Eritrea
|
||||||
|
35 New Caledonia
|
||||||
|
...
|
||||||
|
319899 Nepal
|
||||||
|
319912 Uzbekistan
|
||||||
|
319927 Colombia
|
||||||
|
319933 Spain
|
||||||
|
319955 Niger
|
||||||
|
Name: Country, Length: 25672, dtype: object
|
||||||
|
Значения y для кластера 1: 10 Bahrain
|
||||||
|
14 Syrian Arab Republic
|
||||||
|
19 Democratic Republic Of Congo
|
||||||
|
31 Chile
|
||||||
|
40 Cote d'Ivoire
|
||||||
|
...
|
||||||
|
319904 Mauritania
|
||||||
|
319905 Macao SAR, China
|
||||||
|
319906 Vietnam
|
||||||
|
319929 French Polynesia
|
||||||
|
319945 Mauritius
|
||||||
|
Name: Country, Length: 31971, dtype: object
|
||||||
|
Значения y для кластера 2: 7 Sao Tome and Principe
|
||||||
|
15 Yemen
|
||||||
|
17 French Polynesia
|
||||||
|
20 Azerbaijan
|
||||||
|
24 British Virgin Islands
|
||||||
|
...
|
||||||
|
319935 Dominican Republic
|
||||||
|
319937 Japan
|
||||||
|
319938 Gambia
|
||||||
|
319946 Indonesia
|
||||||
|
319949 Latvia
|
||||||
|
Name: Country, Length: 38400, dtype: object
|
||||||
|
Значения y для кластера 3: 0 Isle of Man
|
||||||
|
6 Cayman Islands
|
||||||
|
11 Bermuda
|
||||||
|
23 Honduras
|
||||||
|
30 Jordan
|
||||||
|
...
|
||||||
|
319931 Sint Maarten (Dutch part)
|
||||||
|
319942 Hong Kong SAR, China
|
||||||
|
319943 Bangladesh
|
||||||
|
319950 Croatia
|
||||||
|
319952 Syrian Arab Republic
|
||||||
|
Name: Country, Length: 51148, dtype: object
|
||||||
|
Значения y для кластера 4: 3 Benin
|
||||||
|
4 Chile
|
||||||
|
5 Belgium
|
||||||
|
12 Jamaica
|
||||||
|
18 North Korea
|
||||||
|
...
|
||||||
|
319922 Gabon
|
||||||
|
319925 Korea, Rep.
|
||||||
|
319926 Ethiopia
|
||||||
|
319941 Zimbabwe
|
||||||
|
319951 Korea, Rep.
|
||||||
|
Name: Country, Length: 38574, dtype: object
|
||||||
|
Значения y для кластера 5: 1 Turkmenistan
|
||||||
|
38 Solomon Islands
|
||||||
|
42 Virgin Islands (U.S.)
|
||||||
|
47 Belize
|
||||||
|
59 Republic Of Congo
|
||||||
|
...
|
||||||
|
319918 Spain
|
||||||
|
319924 Paraguay
|
||||||
|
319947 Brazil
|
||||||
|
319948 Macao SAR, China
|
||||||
|
319953 China
|
||||||
|
Name: Country, Length: 38422, dtype: object
|
||||||
|
Значения y для кластера 6: 37 West Bank and Gaza
|
||||||
|
57 Guam
|
||||||
|
102 Fiji
|
||||||
|
111 Ecuador
|
||||||
|
124 Cabo Verde
|
||||||
|
...
|
||||||
|
319896 Sint Maarten (Dutch part)
|
||||||
|
319903 Madagascar
|
||||||
|
319914 South Africa
|
||||||
|
319940 Netherlands
|
||||||
|
319954 Albania
|
||||||
|
Name: Country, Length: 25701, dtype: object
|
||||||
|
Значения y для кластера 7: 2 Macao SAR, China
|
||||||
|
8 Maldives
|
||||||
|
13 Gambia
|
||||||
|
25 Cuba
|
||||||
|
27 Gambia
|
||||||
|
...
|
||||||
|
319892 Turks and Caicos Islands
|
||||||
|
319920 Luxembourg
|
||||||
|
319923 Trinidad and Tobago
|
||||||
|
319939 China
|
||||||
|
319944 Fiji
|
||||||
|
Name: Country, Length: 38449, dtype: object
|
||||||
|
Значения y для кластера 8: 48 Malta
|
||||||
|
49 Panama
|
||||||
|
52 Republic Of Congo
|
||||||
|
81 Bangladesh
|
||||||
|
82 Nepal
|
||||||
|
...
|
||||||
|
319902 Cambodia
|
||||||
|
319921 Barbados
|
||||||
|
319932 Lesotho
|
||||||
|
319934 St. Kitts and Nevis
|
||||||
|
319936 Nigeria
|
||||||
|
Name: Country, Length: 31619, dtype: object
|
||||||
|
```
|
||||||
|
|
||||||
|
Также выведем координаты центроидов:
|
||||||
|
```
|
||||||
|
Координаты центроидов: [[2.49909662 0.4986962 ]
|
||||||
|
[6.49757212 3.00005221]
|
||||||
|
[1.12332665 3.12941867]
|
||||||
|
[6.79715885 0.40238426]
|
||||||
|
[3.99726263 3.50030885]
|
||||||
|
[8.50117367 3.49953735]
|
||||||
|
[4.2877207 1.14426123]
|
||||||
|
[8.60271303 1.19776253]
|
||||||
|
[0.40101301 0.79759215]]
|
||||||
|
```
|
||||||
|
|
||||||
|
И оценим качество кластеризации, используя силуэтный коэффициент и индекс Дэвиса-Болдина:
|
||||||
|
1. Силуэтный коэффициент - это метрика, которая измеряет, насколько точка хорошо соответствует своему собственному кластеру в сравнении с другими кластерами. Он находится в диапазоне от -1 до 1, где значение ближе к 1 указывает на хорошую кластеризацию, а значение ближе к -1 указывает на плохую кластеризацию.
|
||||||
|
```python
|
||||||
|
# Оценка силуэтного коэффициента
|
||||||
|
silhouette = silhouette_score(X_test.values, kmeans.predict(X_test.values))
|
||||||
|
print("Силуэтный коэффициент:", silhouette)
|
||||||
|
```
|
||||||
|
В нашем случае силуэтный коэффициент равен 0.4086103390706535.
|
||||||
|
2. Индекс Дэвиса-Болдина - это метрика, которая измеряет сходство между кластерами на основе их средних расстояний и средних расстояний между кластерами. Чем меньше значение этого индекса, тем лучше кластеризация.
|
||||||
|
```python
|
||||||
|
# Оценка индекса Дэвиса-Болдина
|
||||||
|
davies_bouldin = davies_bouldin_score(X_test.values, kmeans.predict(X_test.values))
|
||||||
|
print("Индекс Дэвиса-Болдина:", davies_bouldin)
|
||||||
|
```
|
||||||
|
В нашем случае индекс Дэвиса-Болдина равен 0.8682047121172671.
|
||||||
|
|
||||||
|
### Вывод
|
||||||
|
|
||||||
|
Таким образом, с помощью оценок силуэтного коэффициента и индекса Дэвиса-Болдина, можно сделать следующие выводы о качестве кластеризации:
|
||||||
|
1. Силуэтный коэффициент равен 0.4086103390706535. В данном случае, значение силуэтного коэффициента выше 0, что говорит о том, что кластеры имеют некоторую степень разделения, но не являются идеально разделимыми. В целом, это может указывать на некоторое качество кластеризации, но не является оптимальным.
|
||||||
|
2. Индекс Дэвиса-Болдина равен 0.8682047121172671. Значение этого индекса является положительным числом. В данном случае, значение индекса Дэвиса-Болдина выше 0, что указывает на некоторое сходство между кластерами.
|
||||||
|
|
||||||
|
Таким образом, на основе предоставленных значений можно сказать, что кластеризация имеет некоторую степень разделения, но не является идеальной.
|
||||||
122
kochkareva_elizaveta_lab_4/main.py
Normal file
122
kochkareva_elizaveta_lab_4/main.py
Normal file
@ -0,0 +1,122 @@
|
|||||||
|
import os.path
|
||||||
|
import numpy as np
|
||||||
|
import pandas as pd
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
from sklearn.metrics import silhouette_score, davies_bouldin_score
|
||||||
|
from sklearn.model_selection import train_test_split
|
||||||
|
from sklearn.linear_model import LinearRegression
|
||||||
|
from sklearn.feature_selection import RFE
|
||||||
|
import matplotlib.pyplot as plt
|
||||||
|
|
||||||
|
|
||||||
|
picfld = os.path.join('static', 'charts')
|
||||||
|
|
||||||
|
data = pd.read_csv('D:/Интеллектуальные информационные системы/Dataset/updated_job_descriptions.csv')
|
||||||
|
data_orig = pd.read_csv('D:/Интеллектуальные информационные системы/Dataset/job_descriptions.csv')
|
||||||
|
y = data['Country']
|
||||||
|
|
||||||
|
|
||||||
|
def k_means():
|
||||||
|
df = data.copy()
|
||||||
|
df.drop(['Country', 'location', 'Company Size', 'Preference', 'Job Title', 'Role', 'Job Portal',
|
||||||
|
'skills', 'Company', 'Min Experience', 'Max Experience', 'Min Salary',
|
||||||
|
'Max Salary', 'Sector', 'Industry', 'City', 'State', 'Ticker', 'year', 'month', 'day',
|
||||||
|
"'Casual Dress Code, Social and Recreational Activities, Employee Referral Programs, Health and Wellness Facilities, Life and Disability Insurance'",
|
||||||
|
"'Childcare Assistance, Paid Time Off (PTO), Relocation Assistance, Flexible Work Arrangements, Professional Development'",
|
||||||
|
"'Employee Assistance Programs (EAP), Tuition Reimbursement, Profit-Sharing, Transportation Benefits, Parental Leave'",
|
||||||
|
"'Employee Referral Programs, Financial Counseling, Health and Wellness Facilities, Casual Dress Code, Flexible Spending Accounts (FSAs)'",
|
||||||
|
"'Flexible Spending Accounts (FSAs), Relocation Assistance, Legal Assistance, Employee Recognition Programs, Financial Counseling'",
|
||||||
|
"'Health Insurance, Retirement Plans, Flexible Work Arrangements, Employee Assistance Programs (EAP), Bonuses and Incentive Programs'",
|
||||||
|
"'Health Insurance, Retirement Plans, Paid Time Off (PTO), Flexible Work Arrangements, Employee Assistance Programs (EAP)'",
|
||||||
|
"'Legal Assistance, Bonuses and Incentive Programs, Wellness Programs, Employee Discounts, Retirement Plans'",
|
||||||
|
"'Life and Disability Insurance, Stock Options or Equity Grants, Employee Recognition Programs, Health Insurance, Social and Recreational Activities'",
|
||||||
|
"'Transportation Benefits, Professional Development, Bonuses and Incentive Programs, Profit-Sharing, Employee Discounts'",
|
||||||
|
"'Tuition Reimbursement, Stock Options or Equity Grants, Parental Leave, Wellness Programs, Childcare Assistance'"],
|
||||||
|
axis=1, inplace=True)
|
||||||
|
X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)
|
||||||
|
kmeans = KMeans(n_clusters=9)
|
||||||
|
kmeans.fit(X_train.values)
|
||||||
|
labels = kmeans.predict(X_test.values)
|
||||||
|
centroids = kmeans.cluster_centers_
|
||||||
|
print("Координаты центроидов:", centroids)
|
||||||
|
plt.scatter(X_test['Qualifications'], X_test['Work Type'], c=labels, cmap='viridis')
|
||||||
|
plt.scatter(centroids[:, 0], centroids[:, 1], marker='x', color='red')
|
||||||
|
plt.xlabel('Qualifications')
|
||||||
|
plt.ylabel('Work Type')
|
||||||
|
plt.title('KMeans Clustering')
|
||||||
|
plt.savefig('static/charts/KMeansClustering.png')
|
||||||
|
plt.close()
|
||||||
|
print("Уникальных Work Type :", data['Work Type'].nunique())
|
||||||
|
print("Уникальных Qualifications:", data['Qualifications'].nunique())
|
||||||
|
unique_labels = np.unique(labels)
|
||||||
|
for label in unique_labels:
|
||||||
|
indices = np.where(labels == label)
|
||||||
|
y_values = data_orig.loc[indices, 'Country'].values
|
||||||
|
print(f"Значения y для кластера {label}: {y_values}")
|
||||||
|
# Оценка силуэтного коэффициента
|
||||||
|
silhouette = silhouette_score(X_test.values, kmeans.predict(X_test.values))
|
||||||
|
print("Силуэтный коэффициент:", silhouette)
|
||||||
|
# Оценка индекса Дэвиса-Болдина
|
||||||
|
davies_bouldin = davies_bouldin_score(X_test.values, kmeans.predict(X_test.values))
|
||||||
|
print("Индекс Дэвиса-Болдина:", davies_bouldin)
|
||||||
|
|
||||||
|
|
||||||
|
# оценка количества кластеров
|
||||||
|
def selection_number_clusters():
|
||||||
|
df = data.copy()
|
||||||
|
df.drop(['Country', 'location', 'Company Size', 'Job Title', 'Role',
|
||||||
|
'skills', 'Company', 'Max Experience', 'Min Salary',
|
||||||
|
'Max Salary', 'Sector', 'Industry', 'City', 'State', 'Ticker', 'year', 'month', 'day'
|
||||||
|
],
|
||||||
|
axis=1, inplace=True)
|
||||||
|
X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)
|
||||||
|
inertias = []
|
||||||
|
for k in range(1, 15):
|
||||||
|
kmeans = KMeans(n_clusters=k, random_state=1).fit(X_train.values, y_train.values)
|
||||||
|
inertias.append(np.sqrt(kmeans.inertia_))
|
||||||
|
plt.plot(range(1, 15), inertias, marker='o')
|
||||||
|
plt.xlabel('Number of clusters')
|
||||||
|
plt.ylabel('Inertia')
|
||||||
|
plt.title("Метод локтя")
|
||||||
|
plt.savefig('static/charts/ElbowMethod.png')
|
||||||
|
plt.close()
|
||||||
|
|
||||||
|
|
||||||
|
# оценка важности параметров
|
||||||
|
def recursive_feature_elimination():
|
||||||
|
df = data.copy()
|
||||||
|
df.drop(["Country", "location"], axis=1, inplace=True)
|
||||||
|
X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)
|
||||||
|
column_names = ['Qualifications', 'Work Type', 'Company Size', 'Preference', 'Job Title', 'Role', 'Job Portal',
|
||||||
|
'skills', 'Company', 'Min Experience', 'Max Experience', 'Min Salary',
|
||||||
|
'Max Salary', 'Sector', 'Industry', 'City', 'State', 'Ticker', 'year', 'month', 'day',
|
||||||
|
"'Casual Dress Code, Social and Recreational Activities, Employee Referral Programs, Health and Wellness Facilities, Life and Disability Insurance'",
|
||||||
|
"'Childcare Assistance, Paid Time Off (PTO), Relocation Assistance, Flexible Work Arrangements, Professional Development'",
|
||||||
|
"'Employee Assistance Programs (EAP), Tuition Reimbursement, Profit-Sharing, Transportation Benefits, Parental Leave'",
|
||||||
|
"'Employee Referral Programs, Financial Counseling, Health and Wellness Facilities, Casual Dress Code, Flexible Spending Accounts (FSAs)'",
|
||||||
|
"'Flexible Spending Accounts (FSAs), Relocation Assistance, Legal Assistance, Employee Recognition Programs, Financial Counseling'",
|
||||||
|
"'Health Insurance, Retirement Plans, Flexible Work Arrangements, Employee Assistance Programs (EAP), Bonuses and Incentive Programs'",
|
||||||
|
"'Health Insurance, Retirement Plans, Paid Time Off (PTO), Flexible Work Arrangements, Employee Assistance Programs (EAP)'",
|
||||||
|
"'Legal Assistance, Bonuses and Incentive Programs, Wellness Programs, Employee Discounts, Retirement Plans'",
|
||||||
|
"'Life and Disability Insurance, Stock Options or Equity Grants, Employee Recognition Programs, Health Insurance, Social and Recreational Activities'",
|
||||||
|
"'Transportation Benefits, Professional Development, Bonuses and Incentive Programs, Profit-Sharing, Employee Discounts'",
|
||||||
|
"'Tuition Reimbursement, Stock Options or Equity Grants, Parental Leave, Wellness Programs, Childcare Assistance'"]
|
||||||
|
|
||||||
|
estimator = LinearRegression()
|
||||||
|
rfe_model = RFE(estimator)
|
||||||
|
rfe_model.fit(X_train.values, y_train.values)
|
||||||
|
ranks = rank_to_dict_rfe(rfe_model.ranking_, column_names)
|
||||||
|
sorted_dict = dict(sorted(ranks.items(), key=lambda x: x[1], reverse=True))
|
||||||
|
print(sorted_dict)
|
||||||
|
|
||||||
|
|
||||||
|
def rank_to_dict_rfe(ranking, names):
|
||||||
|
n_ranks = [float(1 / i) for i in ranking]
|
||||||
|
n_ranks = map(lambda x: round(x, 2), n_ranks)
|
||||||
|
return dict(zip(names, n_ranks))
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
# selection_number_clusters()
|
||||||
|
# recursive_feature_elimination()
|
||||||
|
k_means()
|
||||||
BIN
kochkareva_elizaveta_lab_4/static/charts/ElbowMethod.png
Normal file
BIN
kochkareva_elizaveta_lab_4/static/charts/ElbowMethod.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 23 KiB |
BIN
kochkareva_elizaveta_lab_4/static/charts/KMeansClustering.png
Normal file
BIN
kochkareva_elizaveta_lab_4/static/charts/KMeansClustering.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 18 KiB |
Loading…
Reference in New Issue
Block a user