Найдите значение функции потерь на валидационной выборке. Передайте модели валидационную выборку в аргументе validation_data метода model.fit(). Загрузка валидационной выборки уже в прекоде.

Подсказка

В аргументе validation_data передайте (features_valid, target_valid).

 

import pandas as pd
from tensorflow import keras

data_train = pd.read_csv('/datasets/train_data_n.csv')
features_train = data_train.drop('target', axis=1)
target_train = data_train['target']

data_valid = pd.read_csv('/datasets/test_data_n.csv')
features_valid = data_valid.drop('target', axis=1)
target_valid = data_valid['target']

model = keras.models.Sequential()
model.add(keras.layers.Dense(units=1, input_dim=features_train.shape[1]))
model.compile(loss='mean_squared_error', optimizer='sgd')
model.fit(features_train, target_train, epochs=5, verbose=2, validation_data=(features_valid, target_valid))

Результат

Epoch 1/5
32/32 - 0s - loss: 9.4409 - val_loss: 7.6182 - 468ms/epoch - 15ms/step
Epoch 2/5
32/32 - 0s - loss: 7.2339 - val_loss: 6.9871 - 56ms/epoch - 2ms/step
Epoch 3/5
32/32 - 0s - loss: 6.6991 - val_loss: 6.8480 - 58ms/epoch - 2ms/step
Epoch 4/5
32/32 - 0s - loss: 6.5292 - val_loss: 6.8076 - 57ms/epoch - 2ms/step
Epoch 5/5
32/32 - 0s - loss: 6.4789 - val_loss: 6.8450 - 56ms/epoch - 2ms/step

На валидационной выборке значение функции потерь немного больше, чем на обучающей. Что бы это значило? Кто-то явно переобучился. И это нормально. Исправлять ничего не нужно.