Линейная разделимость и персептронная представляемость
При прямоугольной передаточной функции (1) каждый нейрон представляет собой пороговый элемент, который может находиться только в одном из двух состояний:
– возбужденном (активном), если взвешенная сумма входных сигналов больше некоторого порогового значения;
– заторможенном (пассивном), если взвешенная сумма входных сигналов меньше некоторого порогового значения.
 | ( 1 ) |
Следовательно, при заданных значениях весов и порогов, каждый нейрон имеет единственное определенное значение выходной активности для каждого возможного вектора входов. При этих условиях
множество входных векторов, при которых нейрон активен (Y=1), отделено от множества векторов, на которых нейрон пассивен (Y=0) гиперплоскостью (2).
 |
| ( 2 ) |
Следовательно, нейрон способен отделить только такие два множества векторов входов, для которых существует гиперплоскость, отделяющая одно множество от другого. Такие множества называют линейно разделимыми.
Необходимо отметить, что линейно-разделимые множества являются составляют лишь очень незначительную часть всех множеств. Поэтому данное ограничение персептрона является принципиальным. Оно было преодолено лишь в 80-х годах путем введения нескольких слоев нейронов
в сетях Хопфилда и неокогнитроне Фукушимы.
В завершении остановимся на некоторых проблемах, которые остались нерешенными после работ Ф.Розенблатта:
1. Возможно ли обнаружить линейную разделимость классов до обучения сети?
2. Как определить скорость обучения, т.е. количество итераций, необходимых для достижения заданного качества обучения?
3. Как влияют на результаты обучения последовательность
предъявления образов и их количество?
4. Имеет ли алгоритм обратного распространения ошибки преимущества перед простым перебором весов?
5. Каким будет качество обучения, если обучающая выборка содержит не все возможные на практике пары векторов и какими будут ответы персептрона на новые вектора, отсутствующие в обучающей выборке?
Особенно важным представляется последний вопрос, т.к. индивидуальный опыт принципиально всегда не является полным.
