• Стохастический градиентный спуск ускоряет обучение алгоритмов.
• Обучение происходит на мини-батчах или батчах, которые меняются случайным образом.
• Размер батча обычно составляет 100-200 объектов.
• Количество батчей равно числу итераций для завершения одной эпохи.
• Алгоритм SGD работает с гиперпараметрами: размер батча, количество эпох и величина шага.
• Вычислительная сложность SGD: T(n, b, p) ~ np.
• Алгоритмом SGD линейная регрессия обучается быстрее, чем прямым методом.

• Эта статья посвящена написанию алгоритма SGD для модели линейной регрессии на Python.
• В ней предлагается создать класс SGDLinearRegression, который будет содержать гиперпараметры, такие как размер шага.
• Метод init класса используется для инициализации объекта с гиперпараметрами.
• Размер шага можно передать модели при создании класса, а затем сохранить его в атрибуте.

• Регуляризация линейной регрессии используется для предотвращения переобучения модели.
• Она ограничивает значения весов, чтобы избежать их чрезмерного влияния на алгоритм.
• Формула функции потерь включает скалярное произведение весов на себя, что ограничивает их значения.
• Вес регуляризации (λ) контролирует силу регуляризации и добавляется в формулу вычисления градиента.
• Линейная регрессия с евклидовым расстоянием между весами называется гребневой регрессией.

• Нейронная сеть - это модель, которая состоит из множества простых моделей, например, линейных регрессий.
• Нейронная сеть работает по принципу сетей нервных клеток, то есть из нейронов строит сложные зависимости между входными и выходными данными.
• Значения h₁ и h₂ передаются в логистическую функцию σ(x): где e - число Эйлера; приблизительно равно 2.718281828.
• Логистическая функция в нейронной сети - это функция активации (англ. activation function).
• Она добавляется в нейрон после умножения значений входов на веса, когда выходы нейрона становятся входами для других нейронов.
• Промежуточная переменная (h₁, h₂) - это произведение значения входа на вес: Для удобства промежуточные переменные h₁ и h₂ обозначим вектором h.
• Предсказание нейронной сети вычисляется по формуле: Запишем эту формулу через векторную функцию.
• Веса w₁ и w₂ обозначим столбцами матрицы W.

• Обучение нейронных сетей требует формулировки задачи обучения.
• Нейронная сеть представляет собой функцию от входного вектора и параметров.
• Параметры сети включают веса нейронов.
• Функция потерь (например, MSE) используется для оценки качества обучения.
• Задача обучения заключается в минимизации функции потерь с помощью алгоритма SGD.
• Алгоритм обучения аналогичен SGD для линейной регрессии, но с использованием градиента для нейронной сети.

Теперь вы умеете:

• Программировать алгоритм SGD;
• Уменьшать переобучение методом регуляризации;
• Строить и обучать нейронные сети.

Заберите с собой

Чтобы ничего не забыть, скачайте шпаргалку и конспект темы.

В следующей теме вы познакомитесь с градиентным бустингом.