Информационные технологии (ВО)

Нейроны типа WTA (англ. Winner-take-all)  имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами. Группа конкурирующих между собой нейронов получает одни и те же входные сигналы. В зависимости от фактических значений весовых коэффициентов суммарные сигналы отдельных нейронов могут различаться. По результатам сравнения этих сигналов, победителем признается нейрон, у которого значение суммарного сигнала оказалось наибольшим (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 37-40)

Самый длинный отросток, утолщенный в своем основании называется аксоном (axon). Аксон представляет собой выходное нервное волокно клетки, передающее нервный импульс (сигнал активности) от сомы другим нейронам.  Аксон служит выходом, по которому проводится сигналы от нервной клетки и передает вы­ходные сигналы нейрона на дендриты других нейронов. 

Алгоритм  Кохонена принадлежит к классу алгоритмов векторного кодирования (vector-coding algorithm). Эта модель реализует топологическое отображение, которое оптимально размещает фиксированное количество векторов (т.е. кодовых слов) во входное пространство более высокой размерности и, таким образом, облегчает сжатие данных. Исходя из этого, модель Кохонена можно вывести двумя способами. Можно использовать базовые идеи самоорганизации, обусловленные нейробиологическими наблюдениями. Это —обычный подход. А можно  использовать подход векторного квантования, включающий кодирование и декодирование. Этот подход основывается на положениях теории коммуникаций (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — С. 577)

Эвристический алгоритм, демонстрирующий высокую эффективность обучения, разработан М. Ридмилером и Х. Брауном. В этом алгоритме при уточнении весов учитывается только знак градиентной составляющей, а ее значение игнорируется (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 73)

В 1986 г. Д. Румельхар (D.E.Rumelhart), Г. Хинтон (G.E.Hinton) и Р. Вильямс (R.J.Williams) предложили алгоритм обратного распространения ошибки (error back propagation). Согласно этому алгоритму сигнал ошибки распространяется по сети сначала в прямом направлении (от входов к выходам), а затем в обратном направлении (от выходов к входам). Такая особенность алгоритма позволяет контролировать весовые коэффициенты на всех слоях сети, в том числе и промежуточных. Данный алгоритм является наиболее известным и популярным, реализован практически во всех известных нейропакетах.

Процедура, используемая для процесса обучения (learning algorithm). Эта процедура выстраивает в определенном порядке синаптические веса нейронной сети для обеспечения необходимой структуры взаимосвязей нейронов.  (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — 1104 с.)

Главная задача ассоциативной памяти сводится в запоминанию входных (обучающих) выборок, таким образом, чтобы при изменении новой выборки система смогла сгенерировать ответ – какая из ранее запомненные выборок наиболее близка к вновь поступившему образу. Наиболее часто в качестве меры близости отдельных множеств применяется мера Хэминга.

(См: Осовский С. Нейронные сети для обработки информации.- М.: Финансы и статистика, 2002. С.177).

Гессиан, или матрица Гессе (Hessian matrix), функции стоимости E(w),  обозначаемая символом Н, определяется как вторая производная E(w) по вектору весов w 

Гессиан играет важную роль в изучении нейронных сетей и характеризуется свойствами:

1. Собственные числа Гессиана оказывают определяющее влияние на динамику

обучения методом обратного распространения.

2. На основе матрицы, обратной Гессиану, можно выделить несущественные синаптические веса многослойного персептрона и отключить их.

3. Гессиан составляет основу методов оптимизации второго порядка, применяемых в качестве альтернативы алгоритма обратного распространения (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. — М. : И.Д. Вильяме, 2006. — С. 276)

Согласно гипотезе ковариации  предсинаптический и постсинаптические сигналы заменяются отклонениями от этих сигналов от средних значений на данном отрезке времени

(См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. — М. : И.Д. Вильяме, 2006. — С. 200)

Градиент некоторой функции есть вектор, который указывает направление наискорейшего возрастания функции, модуль равен наибольшей скорости изменения в некоторой точке. Градиент является направленным отрезком с координатами в определенной системе. Процесс поиска экстремального значения функции называют оптимизацией. Методы многомерной оптимизации делятся на два класса: градиентные и безградиентные. Градиентом скалярного поля u (x, y, z) называется векторная функция и обозначается grad