Информационные технологии (ВО)

Одним из наиболее известных типов ассоциативной памяти является сеть Хопфилда. Обобщенная структура этой сети представляется в виде системы с непосредственной обратной связью выхода со входом.  Характерная особенность такой системы заключается в том, что выходные сигналы являются одновременной входными сигналами. В классической сети Хопфилда отсутствует связь нейрона с собственным выходом, т.е. матрица весов является симметричной.

(См: Осовский С. Нейронные сети для обработки информации.- М.: Финансы и статистика, 2002. С.178).

Предложенная в работе Р. Липманом сеть Хэминга – это трехслойная рекуррентная структура, которую можно считать развитием сети Хопфилда. Она позиционируется как специализированное гетеро ассоциативное за понимающее устройство. Основная идея функционирования этой сети состоит в минимизации расстояния Хэмминга между тестовым вектором, подаваемым на вход сети, и векторами обучающих выборок, закодированными в структуре сети.

(См: Осовский С. Нейронные сети для обработки информации.- М.: Финансы и статистика, 2002.  С.184).

Нейрон сигмоидального типа имеет структуру, подобно модели Мак-Каллока-Типса, с той разницей, функция активации являет непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 27-30)

Место соединения аксона с дендритами других нейронов называют синапсом (synaps) (ударение на первый слог). Это расстояние очень маленькое и составляет примерно 200 нм. Синапс служит местом соединения нервных волокон. Передача сигнала почти всегда имеет однонаправленный характер. По направлению передачи нервного импульса выделяют предсинаптические и постсинаптические клетки. 

Функционирующий таким образом синапс называется синапсом Хебба (Hebbian synapse) (обратите внимание, что исходное правило Хебба не содержало второй части последнего утверждения). Если быть более точным, то синапс Хебба использует зависящий от времени, в высшей степени локальный механизм взаимодействия,  изменяющий эффективность синаптического соединения в зависимости от корреляции между предсинаптической и постсинаптической активностью. Из этого определения можно вывести следующие четыре свойства (ключевых механизма),

характеризующие синапс Хебба. 

1. Зависимость от времени (time-dependent mechanism). Синапс Хебба зависит от точного времени возникновения предсинаптического и постсинаптического сигналов.

2. Локальность (local mechanism). По своей природе синапс является узлом передачи данных, в котором информационные сигналы (представляющие

текущую активность предсинаптических и постсинаптических элементов) находятся в пространственно-временной (spatiotemporal) близости. Эта локальная информация используется синапсом Хебба для выполнения локальных синаптических модификаций, характерных для данного входного сигнала.

3. Интерактивность (interactive mechanism). Изменения в синапсе Хебба определяются сигналами на обоих его концах. Это значит, что форма обучения Хебба

зависит от степени взаимодействия предсинаптического и постсинаптичеркого

сигналов (предсказание нельзя построить на основе только одного из этих

сигналов). Заметим, что такая зависимость или интерактивность может носить

детерминированный или статистический характер. 

4. Корреляция (correlational mechanism). Одна из интерпретаций постулата обучения Хебба состоит в том, что условием изменения эффективности синаптической связи является зависимость между предсинаптическим и постсинаптическим сигналами. (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — 1104 с.)

Пороговый элемент (смещение, bias) b_k отражает увеличение или уменьшение входного сигнала, подаваемого на функцию активации

В стохастической модели выходной состояние нейрона зависит не только от взвешенной суммы входных сигналов, но и от некоторой случайной переменной, значения которой выбираются из интервала (0,1). В стохастических нейронных моделях, функция активации имеет вероятностную природу. В таких моделях нейрон может находиться в одном из двух состояниях: +1 иди -1.  Выбор состояния нейрона определяется с учетом вероятности. (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 37-44)

Сумматор (adder) s (часто часто обозначается через NET) складывает входные сигналы, взвешенные относительно весовых коэффициентов нейрона