Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 1/5
Кратко:
- В предыдущем курсе вы изучили линейную и логистическую регрессии.
- Логистическая регрессия плохо справляется с выбросами в данных.
- Вы познакомитесь с методом опорных векторов для решения задач классификации.
- Построите свою первую нелинейную модель.
- Компания «Морские вкусняхи» доставляет морепродукты корпоративным клиентам.
- На прибыль компании сильно влияет отмена заказов.
- Менеджмент хочет отбивать себестоимость и ввести предоплату.
- Для этого нужна модель, которая будет предсказывать отмену заказов.
Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 2/5
Кратко:
- Для решения проблемы предлагается использовать другую модель классификации, такую как случайный лес или метод опорных векторов. - Линейная и логистическая регрессии хорошо работают на качественных данных с линейной связью.
- На практике специалисты часто имеют дело с нелинейной зависимостью и вовсе не идеальными датасетами - с выбросами, недостатком наблюдений.
- Компания «Морские вкусняхи» доставляет корпоративным клиентам блюда из морепродуктов - устрицы, мидии и строганину из разных сортов рыб.
- На прибыль сильно влияет отмена заказов, потому что их не оплачивают, а товар приходится выбрасывать.
- Бизнес небольшой, поэтому информации мало.
- Линейная и логистическая регрессии не сработали из-за выбросов в данных.
Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 3/5
Кратко:
- SVM - линейная модель, но может работать и с нелинейными зависимостями.
- Математическая функция SVM: y(x) = sign(w^tx + w_0).
- Разделяющая гиперплоскость строится так, чтобы объекты классов находились как можно дальше от нее.
- Для максимизации зазора нужно найти расстояние от опорной точки до разделяющей прямой.
- Ширина зазора равна 2/||w||, где ||w|| - длина вектора коэффициентов.
- Ошибки модели оцениваются по отступу M = y(w^tx + w_0).
- Отступ может быть положительным, большим по модулю, отрицательным или малым по модулю.
- Для минимизации ошибок и учета выбросов в данных используется "мягкий" зазор.
Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 4/5
Кратко:
- Метод опорных векторов (SVM) - робастная модель, устойчивая к выбросам.
- Обучение модели на данных компании "Морские вкусняхи".
- Использование библиотеки scikit-learn для создания модели SVC.
- Разделение данных на тренировочные и тестовые, стандартизация данных.
- Проверка качества модели на тестовых данных.
- Использование разных ядер для улучшения качества модели: линейное, радиальное базисное, сигмоидное, полиномиальное.
- Выбор подходящей модели в зависимости от количества признаков и обучающих данных.
- Вывод: метод опорных векторов может строить и нелинейные границы с использованием ядер.
Спринт 10/24 → Тема 2/11: Метод опорных векторов → Урок 5/5
Кратко:
- Разработана модель классификации для работы с нелинейными данными.
- Возникают проблемы, связанные с качеством работы моделей на тестовых данных.
- Логистическая регрессия может быть неэффективной при наличии выбросов и аномалий в данных.
- Метод опорных векторов подходит для случаев малого количества данных или нелинейной зависимости целевой переменной от входных.
- Модели можно настраивать, включая выбор ядра для задачи.
- Рекомендуется скачать шпаргалку по теме для закрепления знаний.
- Следующий шаг: изучение причин плохих предсказаний обученной модели, включая переобучение и не дообучение.