Антиградиент
Материал из Documentation.
Антиградиент — вектор, направление которого противоположно вектору градиента. Если градиент указывает направление наискорейшего роста функции, то антиградиент указывает направление её наискорейшего убывания.
[править] Свойства
Свойства антиградиента:
- Направление: Антиградиент всегда направлен в сторону самого крутого спуска с «холма» функции.
- Перпендикулярность: Как и градиент, вектор антиградиента перпендикулярен линиям уровня (изолиниям) функции в данной точке.
- Длина: Модуль (длина) антиградиента совпадает с модулем градиента и показывает скорость убывания функции в этой точке.
[править] Применение в машинном обучении
Понятие антиградиента является фундаментальным для метода градиентного спуска. Это основной алгоритм, с помощью которого обучаются нейронные сети и многие другие модели.
Процесс обучения выглядит так:
- У нас есть функция потерь (Loss function), которую нужно минимизировать (сделать ошибку как можно меньше).
- Мы вычисляем градиент функции потерь по отношению к весам модели.
- Мы делаем шаг в сторону антиградиента, чтобы «спуститься» в точку минимума ошибки.
[править] Аналогия
Представьте, что вы стоите на горе в густом тумане. Вам нужно спуститься вниз в долину.
- Вы ощупываете почву вокруг себя ногой, чтобы найти, в какой стороне склон уходит вверх круче всего (градиент).
- Чтобы спуститься, вы делаете шаг в строго противоположном направлении — туда, где склон уходит вниз круче всего (антиградиент).
