Кратко:

• Метод опорных векторов не боится выбросов и проводит нелинейные границы между наблюдениями.
• Однако, модель может плохо классифицировать объекты из тестовых данных из-за привыкания к тренировочным и валидационным данным.
• В этой теме вы научитесь замечать, что модель "подогнана" под тренировочные данные, использовать термины "переобучение" и "недообучение", работать со смещением и разбросом в ошибках модели, контролировать этап обучения при помощи настройки моделей.
• Обучение займет 5 уроков по 30-40 минут

Кратко:

• Регуляризация линейных моделей: метод борьбы с переобучением в машинном обучении.
• Регуляризация автоматически оценивает и ограничивает сложность модели.
• Два способа наложения штрафов: L2-регуляризация (ридж-регуляризация) и L1-регуляризация (лассо-регуляризация).
• L2-регуляризация ограничивает максимальное влияние "переоцененных" признаков.
• L1-регуляризация удаляет неинформативные признаки.
• Оба метода нужно проверять на валидационной выборке для определения эффективности.

Кратко:

• Переобучение модели - ситуация с высоким качеством на тренировочных данных и низким на валидационных или тестовых.
• Регуляризация помогает при переобучении, штрафуя модель за высокий приоритет отдельным признакам.
• Модель всегда будет ошибаться, 100% верных ответов недостижимы.
• Ошибки модели описываются формулой: смещение (bias^2(a)) - погрешность предсказания из-за ошибочных предположений модели, разброс (variance(a)) - ошибка из-за чувствительности модели к отклонениям от привычной структуры данных.
• Задача обучения модели - минимизировать ошибку, чтобы значения метрик на тренировочных и валидационных данных не сильно различались.
• Смещение и разброс модели влияют на суммарную ошибку, их можно разделить на компоненты: смещение и разброс.
• Высокое смещение и низкий разброс указывают на недообучение, низкое смещение и высокий разброс - на переобучение.
• Каждый тип ошибок можно уменьшить, усложнив модель и увеличив тренировочную выборку.

Кратко:

• Регуляризация предотвращает переобучение в логистической регрессии.
• L1- и L2-регуляризация применяются для снижения переоцененных коэффициентов.
• В логистической регрессии используются штрафы за слишком высокие коэффициенты.
• В sklearn можно настроить регуляризацию, указав параметр penalty.
• Задача "Морские вкусняшки" используется для проверки эффективности регуляризации.
• Качество модели с регуляризацией может быть улучшено за счет изменения параметров C и l1_ratio.
• Настройка регуляризации может помочь сэкономить деньги в задачах прогнозирования.

Кратко:

• Регуляризация в модели SVM: для линейной и логистической регрессии достаточно добавить коэффициент λ, для SVM - нет.
• SVM имеет свои настройки для регуляризации: коэффициент C и γ.
• C регулирует допустимое количество нарушителей и настраивает регуляризацию.
• γ определяет, насколько наблюдения "разнесёт" в многомерном пространстве.
• Нет общих критериев для выбора C и γ, нужно пробовать разные комбинации и смотреть на результат.
• Важно отслеживать структурные изменения в данных и адаптировать модель под новые реалии.

Кратко:

• Поздравляем с приобретением нового инструмента для контроля обучения моделей.
• Умение замечать переобучение и недообучение модели.
• Понимание ошибки модели через смещение и разброс.
• Настройка параметров регуляризации для предотвращения переобучения.
• Шпаргалка по теме для быстрого запоминания ключевых моментов.
• Изучение новой модели - метод k-ближайших соседей.