КМ.10/24.8/11.5/6.Задача 1

Обучите логистическую регрессию и отберите 16 признаков с самыми высокими коэффициентами. Выведите на экран список признаков, на которых модель обучена.

import pandas as pd
import seaborn as sns
from matplotlib import pyplot as plt
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import f1_score

RANDOM_STATE = 77

# инициализируем все нужные классы для работы модели
scaler = StandardScaler()
selector = SelectKBest(f_classif, k=16)
model = LogisticRegression()

# объединяем старые и новые данные
test_data = pd.read_csv('orders_seafood_new.csv')
data = pd.read_csv('orders_seafood_test.csv')
all_data = pd.concat([data,test_data],axis=0)
X = all_data.drop(columns=['target', 'client_id'])
y = all_data['target']

# делим данные на выборки
X_train, X_test, y_train, y_test = \
train_test_split(X, y, test_size=0.25, random_state=RANDOM_STATE)

# создаём полиномиальные признаки второго порядка
poly = PolynomialFeatures(2)
X_train = poly.fit_transform(X_train)
X_test = poly.transform(X_test)

# сохранение таблицы X_test с полиномиальными признаками до стандартизации
X_test_df = pd.DataFrame(X_test,columns = poly.get_feature_names())

# стандартизируем признаки
X_train_scalled = pd.DataFrame(scaler.fit_transform(X_train),columns = poly.get_feature_names())
X_test_scalled =  pd.DataFrame(scaler.transform(X_test),columns = poly.get_feature_names())

# обучаем SelectKBest
selector.fit(X_train_scalled, y_train)

# сформируйте выборки с лучшими признаками
features_names = X_train_scalled.columns[selector.get_support(indices=True)]
X_train_new = X_train_scalled[list(features_names)]
X_test_new = X_test_scalled[list(features_names)]

# обучите модель на лучших признаках
model.fit(X_train_new, y_train)
print(list(features_names))