В 1986 г. Д. Румельхар (D.E.Rumelhart), Г. Хинтон (G.E.Hinton) и Р. Вильямс (R.J.Williams) предложили алгоритм обратного распространения ошибки (error back propagation). Согласно этому алгоритму сигнал ошибки распространяется по сети сначала в прямом направлении (от входов к выходам), а затем в обратном направлении (от выходов к входам). Такая особенность алгоритма позволяет контролировать весовые коэффициенты на всех слоях сети, в том числе и промежуточных. Данный алгоритм является наиболее известным и популярным, реализован практически во всех известных нейропакетах.