Спринт 16/24 → Тема 3/8: Градиентный спуск → Урок 1/6
Введение
Разберём алгоритм градиентного спуска.
Чему вы научитесь
- Познакомитесь с функциями потерь в задачах классификации и регрессии.
- Узнаете, что такое градиент функции.
- Изучите алгоритм градиентного спуска.
Сколько времени это займёт
6 уроков по 10–15 минут.
Спринт 16/24 → Тема 3/8: Градиентный спуск → Урок 2/6
Кратко:
- Функция потерь оценивает качество модели на обучающих данных и позволяет обновить параметры модели.
- Метрика качества оценивает модель на тестовой выборке.
- MSE (квадратичная функция потерь) используется для задач регрессии, где важна чувствительность к выбросам.
- Абсолютная функция потерь (absolute loss function) применяется для задач, где функция должна быть менее чувствительной к выбросам.
- В задачах классификации метрика качества accuracy не подходит в качестве функции потерь, так как у нее нет производной.
- Логарифмическое правдоподобие (logistic loss function) используется вместо accuracy в задачах классификации.
- Логарифмирование применяется для "растягивания" значений на больший диапазон, чтобы минимизировать погрешность вычислений.
- Логистическая функция потерь имеет производную, что делает ее более подходящей для задач обучения.
Спринт 16/24 → Тема 3/8: Градиентный спуск → Урок 3/6
Кратко:
- Градиент функции - вектор, состоящий из производных по каждому аргументу.
- Градиент векторной функции - скаляр, равный сумме произведений каждой производной на соответствующий аргумент.
- Градиент функции от одного аргумента - производная функции.
- Для функции с тремя аргументами, градиент вычисляется путем суммирования произведений каждой производной на соответствующий аргумент.
- Градиент показывает направление самого быстрого роста функции, антиградиент - направление наискорейшего убывания.
- Для одномерной функции, антиградиент равен минус градиент.
- Для функции с двумя аргументами, антиградиент равен минус вектор, полученный из градиента.
Спринт 16/24 → Тема 3/8: Градиентный спуск → Урок 4/6
Кратко:
- Градиентный спуск - итеративный алгоритм нахождения минимума функции потерь.
- Алгоритм работает путем движения по направлению антиградиента и приближения к минимуму.
- Погружение в глубоководье требует медленного движения и расчета каждого шага.
- Начальное значение аргумента (x⁰) определяет отправную точку градиентного спуска.
- Размер шага градиентного спуска (μ) контролирует величину шагов.
- Значения аргументов на последующих итерациях определяются по аналогичной формуле.
- Градиентный спуск заканчивается, когда выполнено одно из условий: итераций задано, или значение x перестало меняться.
Спринт 16/24 → Тема 3/8: Градиентный спуск → Урок 5/6
Кратко:
- Градиентный спуск - алгоритм нахождения минимума функции на основе градиента.
- Требуется задать начальное значение x0, рассчитать градиент функции потерь и найти новое значение x1.
- Новое значение x1 находится по формуле: x1 = x0 + μ × (-∇ f(x)), где μ - размер шага, задаётся в аргументах алгоритма.
- Повторить заданное число итераций для минимизации функции.
- В данном уроке минимизируется функция, минимум которой находится в точке (1.5, -0.5).
Спринт 16/24 → Тема 3/8: Градиентный спуск → Урок 6/6
Кратко:
- Умение вычислять градиент функции и находить направление убывания функции с помощью антиградиента.
- Программирование алгоритма градиентного спуска.
- Шпаргалка и конспект темы для закрепления знаний.
- В следующей теме - обучение модели линейной регрессии и создание нейросети с использованием градиентного спуска.
Заключение
Теперь вы умеете:
- Вычислять градиент функции;
- Антиградиентом находить направление убывания функции;
- Программировать алгоритм градиентного спуска.
Заберите с собой
Чтобы ничего не забыть, скачайте шпаргалку и конспект темы.
В следующей теме вы обучите модель линейной регрессии, а затем состоящую из таких моделей нейронную сеть, применяя градиентный спуск.