Главная

Создайте список с наименованиями признаков с важностью меньше 0.02. Посчитайте метрику при кросс-валидации на изменённом датасете.

# импортируем библиотеки и объявляем константы
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score

RANDOM_STATE = 42

# считываем данные из CSV-файла
df_full = pd.read_csv('railway_full.csv')

# делим данные на входные и целевые
X = df_full.drop(['Общая оценка качества предоставленной услуги'], axis=1)
y = df_full['Общая оценка качества предоставленной услуги']

# подготавливаем данные заранее созданной функцией
# в код добавили кодирование с помощью LabelEncoder
X_train, X_test, y_train, y_test = prepare_data(X, y)

# инициализируем и обучаем модель дерева решений с лучшими гиперпараметрами
model = DecisionTreeClassifier(
    max_depth=7,
    min_samples_leaf=10,
    min_samples_split=9,
    random_state=RANDOM_STATE
).fit(X_train, y_train)

# считаем метрику при кросс-валидации
score = cross_val_score(
    model,
    X_train,
    y_train,
    scoring='roc_auc_ovo',
    n_jobs=-1).mean()

# выводим метрику при кросс-валидации
print('На всех признаках', score)

# формируем таблицу важности признаков
feature_importances = pd.DataFrame(
    {
        'Feature': X_train.columns,
        'Importance': model.feature_importances_
    })

# создайте список признаков с важностью менее 0.02
features_to_drop = feature_importances[feature_importances['Importance']<0.02]['Feature'].to_list()

# удаляем признаки с важностью меньше 0.02 из датасета
X_train_less_features = X_train.drop(features_to_drop, axis=1)
X_test_less_features = X_test.drop(features_to_drop, axis=1)

# инициализируем модель дерева решений с лучшими гиперпараметрами
model = DecisionTreeClassifier(
    max_depth=7,
    min_samples_leaf=10,
    min_samples_split=9,
    random_state=RANDOM_STATE
)

# посчитайте метрику при кросс-валидации
score = cross_val_score(
    model,
    X_train_less_features,
    y_train,
    scoring='roc_auc_ovo',
    n_jobs=-1).mean()

# выводим метрику при кросс-валидации
print('На признаках с важностью более 0.02', score)