Информационные технологии (ВО)

Гессиан, или матрица Гессе (Hessian matrix), функции стоимости E(w),  обозначаемая символом Н, определяется как вторая производная E(w) по вектору весов w 

Гессиан играет важную роль в изучении нейронных сетей и характеризуется свойствами:

1. Собственные числа Гессиана оказывают определяющее влияние на динамику

обучения методом обратного распространения.

2. На основе матрицы, обратной Гессиану, можно выделить несущественные синаптические веса многослойного персептрона и отключить их.

3. Гессиан составляет основу методов оптимизации второго порядка, применяемых в качестве альтернативы алгоритма обратного распространения (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. — М. : И.Д. Вильяме, 2006. — С. 276)

Согласно гипотезе ковариации  предсинаптический и постсинаптические сигналы заменяются отклонениями от этих сигналов от средних значений на данном отрезке времени

(См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. — М. : И.Д. Вильяме, 2006. — С. 200)

Градиент некоторой функции есть вектор, который указывает направление наискорейшего возрастания функции, модуль равен наибольшей скорости изменения в некоторой точке. Градиент является направленным отрезком с координатами в определенной системе. Процесс поиска экстремального значения функции называют оптимизацией. Методы многомерной оптимизации делятся на два класса: градиентные и безградиентные. Градиентом скалярного поля u (x, y, z) называется векторная функция и обозначается grad