Информационные технологии (ВО)

Метод имитации отжига представляет собой алгоритмический аналог физического процесса управляемого охлаждения. Предложенный Н. Метрополисом в 1953 г. и доработанный многочисленными последователями, он в настоящее время считается одним из немногих алгоритмов, позволяющих практически находить глобальный минимум функции нескольких переменных  (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 79)

В методе наискорейшего спуска корректировка векторов весов выполняется в направлении максимального уменьшения функции стоимости, т.е. в направлении,  противоположном вектору градиента (gradient vector)  (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — 1104 с.)

В архитектуре многослойной сети выделяют входной, выходной и один или несколько срытых слоев. На входной слой подаются входные сигналы, нейроны входного слоя выполняют распределительные функции. Входной слой часто нумеруют как нулевой. Входной слой служит для отображения результатов вычислений сети, т.е. результатов сети и информации с предыдущих слоев. Промежуточные слои называют скрытыми (hidden), т.к. они не получают непосредственно сигналы от внешних источников информации, а используют преобразованную информацию от входных нейронов. На скрытых слоях производится вычислительная обработка, поэтому основой многослойной нейронной сети считают скрытые слои. Первый скрытый слой получает результаты обработки от входного слоя. Далее сигналы  первого скрытого распространяются к следующему скрытому слою по синаптическими соединениям и служат их входами для следующего скрытого слоя. Такое последовательное распространение сигналов называется прямым распространением.

В многослойной нейронной сети нейроны располагаются по слоям. В простейшем случае в такой сети существует входной слой (input layer) узлов источника,  информация от которого передается на выходной слой (output layer) нейронов (вычислительные узлы)  (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — 1104 с.)

Многослойные персептроны имеют три отличительных признака.

1.    Каждый нейрон сети имеет нелинейную функцию активации (nonlinear activation  function). Важно подчеркнуть, что данная нелинейная функция является гладкой (т.е. всюду дифференцируемой), в отличие от жесткой пороговой функции, используемой в персептроне Розенблатта. Самой популярной формой функции, удовлетворяющей этому требованию, является сигмоидальная (sigmoidal nonlinearity), определяемая логистической функцией (logistic function)

2.    Сеть содержит один или несколько слоев скрытых нейронов', не являющихся частью входа или выхода сети. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входного образа (вектора).

3.    Сеть обладает высокой степенью связности (connectivity), реализуемой посредством синаптических соединений. Изменение уровня связности сети требует  изменения множества синаптических соединений или их весовых коэффициентов.  (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — С. 221)

Основная идея модели Уилшоу-ван дер Мальсбурга состоит в том, что для представления информации о геометрической близости предсинаптических нейронов в форме их электрической активности и для использования этих  корреляций в постсинаптической решетке соседние предсинаптические  нейроны должны  связываться с соседними постсинаптическими. Таким образом, самоорганизация приводит к топологически упорядоченному отображению. Однако следует заметить, что модель Уилшоу-ван дер Мальсбурга пригодна только для представления отображений, в которых размерности входного и выходного сигналов равны. (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — С. 577)

Первое систематическое изучение искусственных нейронных сетей было предпринято У. МакКаллоком (W. S. McCulloch) и В. Питсом (W. Pitts). В 1943 г. ученые опубликовали статью, в которой изложили модель математического нейрона как абстрактного устройства, созданного по принципу биологического нейрона