КМ.10/24.7/11.7/10.Задача 2

Создайте список с наименованиями признаков для удаления: Питание включено, Наличие wifi и Покупка билета онлайн. Удалите признаки с высокой корреляцией из датасета. Посчитайте метрику при кросс-валидации.

# импортируем библиотеки и объявляем константы
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score

RANDOM_STATE = 42

# подготавливаем данные заранее созданной функцией
# в код добавили кодирование ранговых и неранговых переменных, удаление утечки данных
X_train, X_test, y_train, y_test = prepare_data('railway_full.csv')

# инициализируем модель дерева решений с лучшими гиперпараметрами
model = DecisionTreeClassifier(
    max_depth=7,
    min_samples_leaf=10,
    min_samples_split=9,
    random_state=RANDOM_STATE
)

# считаем метрику при кросс-валидации
score = cross_val_score(
    model,
    X_train,
    y_train,
    scoring='roc_auc',
    n_jobs=-1).mean()

# выводим метрику при кросс-валидации
print('На всех признаках', score)

# создайте список признаков с высокой корреляцией
columns_to_drop = ['Питание включено',
                  'Наличие wifi',
                  'Покупка билета онлайн'
                  ]

# удалите признаки с высокой корреляцией
X_train = X_train.drop(columns_to_drop, axis=1)
X_test = X_test.drop(columns_to_drop, axis=1)

# посчитайте метрику при кросс-валидации
score = cross_val_score(
    model,
    X_train,
    y_train,
    scoring='roc_auc',
    n_jobs=-1).mean()

# выводим метрику при кросс-валидации
print('После удаления признаков с высокой корреляцией', score)

# обучаем модель
model.fit(X_train, y_train)

# формируем таблицу важности признаков
feature_importances = pd.DataFrame(
    {
        'Feature': X_train.columns,
        'Importance': model.feature_importances_
    })

# сортируем таблицу по важности — от большей к меньшей
print(feature_importances.sort_values('Importance', ascending=False))