Интеллектуальные информационные системы


Оценка адекватности модели. Зависимость достоверности прогнозирования от разброса точечных прогнозов


Адекватность модели определяется несколькими способами: путем численного эксперимента, т.е. ретроспективного прогнозирования по данным обучающей выборки (внутренняя валидность); путем экспериментально сопоставления прогнозируемого и фактического развития активного объекта (внешняя валидность). И внутренняя, и внешняя валидность может определяться в разрезе по классам (дифференциальная) или как средневзвешенная по всем классам (интегральная валидность).

При исследовании системно-когнитивной модели было обнаружено, что ошибка прогнозирования курса Российского рубля по отношению к доллару США зависит от прогнозируемой ситуации, т.е. дифференциальная валидность существенно отличается от интегральной.

Прохождение системой точек бифуркации изменяет значения атрибута, но не изменяет его смысла по отношению к рассмотренным классам, т.е. не изменяет порядка факторов в семантическом портрете атрибута, поэтому данный вид устойчивости предлагается называть "Семантическая устойчивость". Из рисунков 90 и 91 видно, что погрешность прогнозирования (т.е. отклонение фактического курса от средневзвешенного) и разброс точечных прогнозов резко возрастают синхронно с "обвалами" рубля. При искусственном (волевом) "удержании" курса рубля, которое обычно следует за периодами его "обвала", прогноз сильно отличается от фактического курса. Это можно объяснить тем, что фактически прогнозируется рыночный, а не искусственно установленный курс.

Таким образом, разброс точечных прогнозов является количественным измерителем степени неопределенности состояния системы и позволяет классифицировать это состояние как "детерминистское" или "бифуркационное" или оценить степень близости к этим состояниям.

Когда разброс точечных прогнозов незначителен, средневзвешенному прогнозу можно доверять, т.к. система находится на детерминистском участке своего развития, на котором ее поведение хорошо прогнозируется, т.к. закономерности, управляющие этим поведением на детерминистском этапе известны и не изменяются.


Начало  Назад  Вперед