В методе наискорейшего спуска корректировка векторов весов выполняется в направлении максимального уменьшения функции стоимости, т.е. в направлении,  противоположном вектору градиента (gradient vector)  (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — 1104 с.)