Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 1/5

Кратко:

  • В предыдущем курсе вы изучили линейную и логистическую регрессии.
  • Логистическая регрессия плохо справляется с выбросами в данных.
  • Вы познакомитесь с методом опорных векторов для решения задач классификации.
  • Построите свою первую нелинейную модель.
  • Компания «Морские вкусняхи» доставляет морепродукты корпоративным клиентам.
  • На прибыль компании сильно влияет отмена заказов.
  • Менеджмент хочет отбивать себестоимость и ввести предоплату.
  • Для этого нужна модель, которая будет предсказывать отмену заказов.

Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 2/5

Кратко:

  • Для решения проблемы предлагается использовать другую модель классификации, такую как случайный лес или метод опорных векторов. - Линейная и логистическая регрессии хорошо работают на качественных данных с линейной связью.
  • На практике специалисты часто имеют дело с нелинейной зависимостью и вовсе не идеальными датасетами - с выбросами, недостатком наблюдений.
  • Компания «Морские вкусняхи» доставляет корпоративным клиентам блюда из морепродуктов - устрицы, мидии и строганину из разных сортов рыб.
  • На прибыль сильно влияет отмена заказов, потому что их не оплачивают, а товар приходится выбрасывать.
  • Бизнес небольшой, поэтому информации мало.
  • Линейная и логистическая регрессии не сработали из-за выбросов в данных.

Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 3/5

Кратко:

  • SVM - линейная модель, но может работать и с нелинейными зависимостями.
  • Математическая функция SVM: y(x) = sign(w^tx + w_0).
  • Разделяющая гиперплоскость строится так, чтобы объекты классов находились как можно дальше от нее.
  • Для максимизации зазора нужно найти расстояние от опорной точки до разделяющей прямой.
  • Ширина зазора равна 2/||w||, где ||w|| - длина вектора коэффициентов.
  • Ошибки модели оцениваются по отступу M = y(w^tx + w_0).
  • Отступ может быть положительным, большим по модулю, отрицательным или малым по модулю.
  • Для минимизации ошибок и учета выбросов в данных используется "мягкий" зазор.

Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 4/5

Кратко:

  • Метод опорных векторов (SVM) - робастная модель, устойчивая к выбросам.
  • Обучение модели на данных компании "Морские вкусняхи".
  • Использование библиотеки scikit-learn для создания модели SVC.
  • Разделение данных на тренировочные и тестовые, стандартизация данных.
  • Проверка качества модели на тестовых данных.
  • Использование разных ядер для улучшения качества модели: линейное, радиальное базисное, сигмоидное, полиномиальное.
  • Выбор подходящей модели в зависимости от количества признаков и обучающих данных.
  • Вывод: метод опорных векторов может строить и нелинейные границы с использованием ядер.

КМ. Задача 1

КМ. Задача 2

КМ. Задача 3

Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 5/5

Кратко:

  • Разработана модель классификации для работы с нелинейными данными.
  • Возникают проблемы, связанные с качеством работы моделей на тестовых данных.
  • Логистическая регрессия может быть неэффективной при наличии выбросов и аномалий в данных.
  • Метод опорных векторов подходит для случаев малого количества данных или нелинейной зависимости целевой переменной от входных.
  • Модели можно настраивать, включая выбор ядра для задачи.
  • Рекомендуется скачать шпаргалку по теме для закрепления знаний.
  • Следующий шаг: изучение причин плохих предсказаний обученной модели, включая переобучение и не дообучение.