Интеллектуальные информационные системы


Однослойная нейронная сеть и персептрон Розенблата - часть 2


Если бы R-элементы были тождественными по функциям A-элементам, то нейронная сеть классического персептрона была бы двухслойной. Тогда бы A-элементы выступали для R-элементов в роли S-элементов.

Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента (строки) к j-му A-элементу (столбцы). Эта матрица очень напоминает матрицы абсолютных частот и информативностей, формируемые в семантической информационной модели, основанной на системной теории информации.

С точки зрения современной нейроинформатики однослойный персептрон представляет в основном чисто исторический интерес, вместе с тем на его примере могут быть изучены основные понятия и простые алгоритмы обучения нейронных сетей.

Обучение классической нейронной сети

состоит в подстройке весовых коэффициентов каждого нейрона.

Пусть имеется набор пар векторов {xa, ya}, a = 1..p, называемый обучающей выборкой, состоящей из p объектов.

Вектор {xa} характеризует систему признаков конкретного объекта a обучающей выборки, зафиксированную S-элементами.

Вектор {ya} характеризует картину возбуждения нейронов при предъявлении нейронной сети конкретного объекта a обучающей выборки:

Будем называть нейронную сеть обученной

на данной обучающей выборке, если при подаче на вход сети вектора {xa} на выходе всегда получается соответствующий вектор {ya}, т.е. каждому набору признаков соответствуют определенные классы.

Ф.Розенблаттом предложен итерационный алгоритм обучения из 4-х шагов, который состоит в подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах:

Шаг 0:

Начальные значения весов всех нейронов полагаются случайными.

Шаг 1:

Сети предъявляется входной образ xa, в результате формируется выходной образ.

Шаг 2:

Вычисляется вектор ошибки, делаемой сетью на выходе.

Шаг 3:

Вектора весовых коэффициентов корректируются таким образом, что величина корректировки пропорциональна ошибке на выходе и равна нулю если ошибка равна нулю:

– модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям входов;

– знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка (значение выхода меньше требуемого) проводит к усилению связи;

– обучение каждого нейрона происходит независимо от обучения остальных нейронов, что соответствует важному с биологической точки зрения, принципу локальности обучения.

Шаг 4:

Шаги 1-3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох, если выполняется по крайней мере одно из условий:

– когда итерации сойдутся, т.е. вектор весов перестает изменяться;

– когда полная просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения.

Данный метод обучения был назван Ф.Розенблаттом "методом коррекции с обратной передачей сигнала ошибки". Имеется в виду передача сигнала ошибка от выхода сети на ее вход, где и определяются, и используются весовые коэффициенты. Позднее этот алгоритм назвали "d-правилом".

Данный алгоритм относится к широкому классу алгоритмов обучения с учителем, т.к. в нем считаются известными не только входные вектора, но и значения выходных векторов, т.е. имеется учитель, способный оценить правильность ответа ученика, причем в качестве последнего выступает нейронная сеть.

Розенблаттом доказана "Теорема о сходимости обучения" по d-правилу. Эта теорема говорит о том, что персептрон способен обучится любому обучающему набору, который он способен представить. Но она ничего не говорит о том, какие именно обучающие наборы он способен представить. Ответ на этот вопрос мы получим в следующем разделе.




Начало  Назад  Вперед



Книжный магазин