Урок 1
Кратко:
- Вы уже научились использовать линейную регрессию и владеете математикой.
- Вы умеете оценивать качество линейной регрессии метриками MSE и RMSE.
- Вы можете столкнуться с одинаковыми показателями MSE и RMSE у двух разных моделей.
- В этой теме вы познакомитесь с новыми метриками и узнаете, чем они различаются.
- Вы научитесь интерпретировать уже знакомые и новые метрики: MSE, RMSE, MAE и R².
- Вы сможете рассчитывать MAE и R² самостоятельно и средствами библиотеки sklearn.
- Вы сможете выбирать подходящие метрики для разных задач
Урок 2
Кратко:
- Метрики используются для оценки качества моделей в задачах регрессии.
- Ошибки в регрессии измеряются с помощью метрик MSE и RMSE.
- Существуют и другие метрики, такие как МАЕ и R², которые также используются в задачах регрессии.
- Эффективность метрик зависит от условий, например, от объема аномальных данных в датасете.
- Задача дата-сайентиста - подобрать метрику, объективно отражающую качество модели.
- Для сравнения моделей и оценки их качества используются разные метрики в зависимости от класса задач и условий
Выводы
Для сравнения моделей и оценки их качества используют разные метрики в зависимости от класса задач и их условий. Со временем вы будете осваивать всё больше метрик, и уже в следующих уроках узнаете, как рассчитать MAE и R² и в каких условиях они показывают себя лучше всего.
Урок 3
Кратко:
- MSE и RMSE подходят для данных с высокой дисперсией, но MAE дает слишком оптимистичную оценку на таких данных.
- Если слишком большие или слишком малые значения - выбросы, ими можно пренебречь при использовании MAE
Выводы
- Метрика MAE — это средняя абсолютная ошибка. Она рассчитывается как среднее от суммы всех ошибок модели по модулю. Это отличает её от MSE/RMSE, где разница между истинным значением и прогнозом возводится в квадрат. MAE измеряет ошибку в единицах целевого признака.
- MAE более устойчива к выбросам, поэтому её применяют, чтобы минимизировать влияние аномальных значений при оценке качества модели.
- Чтобы рассчитать MAE средствами библиотеки
sklearn, используйте функциюmean_absolute_error.
Урок 4
Кратко:
- Коэффициент детерминации R² - важный инструмент для оценки качества предсказания.
- Метрика MSE не всегда адекватно сравнивает модели на данных разного масштаба.
- R² позволяет сравнивать модели с разными масштабами и принимает значения от -∞ до 1.
- Чем ближе R² к единице, тем лучше обобщающая способность модели и точность предсказания.
- Для расчёта R² нужно разделить сумму квадратов средней ошибки на дисперсию целевого признака.
- Функция r2_score из библиотеки sklearn помогает рассчитать R²
Выводы
- Коэффициент детерминации R² отличается от изученных ранее метрик: он позволяет сравнивать модели с разными масштабами целевого признака.
- R² принимает значения от −∞ до 1. Чем ближе метрика к единице, тем лучше обобщающая способность модели и тем точнее будут предсказания. Для расчёта R² нужно разделить сумму квадратов средней ошибки на дисперсию целевого признака.
- R² можно рассчитать функцией r2_score библиотеки sklearn.
Урок 5
Кратко:
- Статья посвящена метрикам для оценки качества линейной регрессии.
- Метрики включают среднюю квадратичную ошибку (MSE), квадратный корень из MSE (RMSE), среднюю абсолютную ошибку (MAE), и коэффициент детерминации (R²).
- MSE и RMSE измеряют среднюю квадратичную ошибку, а MAE и R² - среднюю абсолютную ошибку.
- R² показывает, в скольких процентах случаев модель точнее среднего значения целевого признака.
- Выбор метрики зависит от масштаба целевого признака и задачи.
- Новые данные могут существенно повлиять на метрики, поэтому исследовательский анализ данных важен.
- Размер датасета и распределение целевого признака влияют на качество линейной регрессии
Сравнение метрик
Теперь вы знаете все основные метрики для оценки качества регрессионной модели. Всю информацию может быть сложно одновременно держать в голове. Поэтому — ловите таблицу, в которой мы сравниваем все четыре изученные вами метрики.
| MSE | RMSE | MAE | R² | |
|---|---|---|---|---|
| Формула | 1/N*∑(y(true)−y(pred))^2 | (1/N*∑(y(true)−y(pred))^2)^0.5 | 1/N*∑∣y(true)−y(pred)∣ | 1−MSE/D |
| Диапазон значений | От 0 до +∞ | От 0 до +∞ | От 0 до +∞ | −∞ до 1 |
| Лучшее значение | Стремится к 0 | Стремится к 0 | Стремится к 0 | Стремится к 1 |
| Наличие выбросов в целевом признаке | Может существенно увеличить метрику. | Может существенно увеличить метрику. | Незначительно увеличивает метрику. | Практически не влияет на метрику. |
| Что означает | Средняя квадратичная ошибка. Показывает, на какое значение в среднем предсказание отличается от истинного значения. Измеряется в квадратных единицах целевого признака, из-за этого её сложно интерпретировать. | Квадратный корень из средней квадратичной ошибки. Показывает, на какое значение в среднем предсказание отличается от истинного значения. Измеряется в единицах целевого признака, поэтому его легче интерпретировать, чем MSE. | Средняя абсолютная ошибка. Показывает, на какое значение предсказание в среднем отличается от истинного значения. Измеряется в единицах целевого признака, поэтому её легче интерпретировать. | Коэффициент детерминации. Показывает, в скольких процентах случаев предсказание модели точнее, чем среднее значение целевого признака. |
| Для чего можно применять | Для сравнения качества одной модели по мере настройки и обучения. | Для сравнения качества одной модели по мере настройки и обучения. | Для сравнения качества одной модели по мере настройки и обучения. | Для сравнения двух регрессионных моделей. |
| Когда не стоит применять | Не подходит для сравнения двух моделей с разным масштабом целевого признака. | Не подходит для сравнения двух моделей с разным масштабом целевого признака. | Не подходит для сравнения двух моделей с разным масштабом целевого признака. | Не подходит, если необходимо оценить численное значение ошибки. |
Выводы
- Перед обучением модели нельзя забывать про исследовательский анализ данных. Он поможет узнать распределение данных и обнаружить выбросы. Всё это может сильно повлиять на значение метрик.
- Новые данные могут очень сильно повлиять на обучение модели. Сравнивая метрики моделей, вы узнали, как размер датасета и распределение целевого признака влияют на качество линейной регрессии.
Урок 6
Кратко:
- Метрики качества для задач регрессии имеют свою область применения.
- Рассчитывать MAE и R² вручную и с помощью библиотеки sklearn.
- Интерпретировать метрики: MSE, RMSE, MAE и R².
- Выбирать подходящие метрики для разных задач: MSE и RMSE для высокой дисперсии, MAE для игнорирования выбросов, R² для сравнения моделей и оценки обобщающей способности.
- Подготовка данных перед обучением: инструменты для исправления признаков из исходного датасета
Метрики качества для задач регрессии изучены — ура! Надеемся, что вы по достоинству оценили их, ведь у каждой есть своя область применения.
Чему вы научились
- Рассчитывать MAE и R² самостоятельно и средствами библиотеки
sklearn. Использовать встроенные функции — это быстро и удобно, но чтобы по-настоящему понимать метрики, нужно знать, как их рассчитать вручную. - Интерпретировать метрики. Теперь вы знаете: чем меньше значения MSE, RMSE и MAE, тем точнее модель. В случае R² всё иначе: чем ближе к единице значение метрики, тем выше обобщающая способность модели.
- Выбирать подходящие для задачи метрики. MSE и RMSE лучше всего подойдут, когда у данных высокая дисперсия, и это нельзя проигнорировать. MAE устойчива к выбросам данных, поэтому используйте её, когда ими можно пренебречь. R² нужна, чтобы сравнивать обученные на разных данных модели и оценивать обобщающую способность.