Оценка адекватности модели. Зависимость достоверности прогнозирования от разброса точечных прогнозов
Адекватность модели определяется несколькими способами: путем численного эксперимента, т.е. ретроспективного прогнозирования по данным обучающей выборки (внутренняя валидность); путем экспериментально сопоставления прогнозируемого и фактического развития активного объекта (внешняя валидность). И внутренняя, и внешняя валидность может определяться в разрезе по классам (дифференциальная) или как средневзвешенная по всем классам (интегральная валидность).
При исследовании системно-когнитивной модели было обнаружено, что ошибка прогнозирования курса Российского рубля по отношению к доллару США зависит от прогнозируемой ситуации, т.е. дифференциальная валидность существенно отличается от интегральной.
Прохождение системой точек бифуркации изменяет значения атрибута, но не изменяет его смысла по отношению к рассмотренным классам, т.е. не изменяет порядка факторов в семантическом портрете атрибута, поэтому данный вид устойчивости предлагается называть "Семантическая устойчивость". Из рисунков 90 и 91 видно, что погрешность прогнозирования (т.е. отклонение фактического курса от средневзвешенного) и разброс точечных прогнозов резко возрастают синхронно с "обвалами" рубля. При искусственном (волевом) "удержании" курса рубля, которое обычно следует за периодами его "обвала", прогноз сильно отличается от фактического курса. Это можно объяснить тем, что фактически прогнозируется рыночный, а не искусственно установленный курс.
Таким образом, разброс точечных прогнозов является количественным измерителем степени неопределенности состояния системы и позволяет классифицировать это состояние как "детерминистское" или "бифуркационное" или оценить степень близости к этим состояниям.
Когда разброс точечных прогнозов незначителен, средневзвешенному прогнозу можно доверять, т.к. система находится на детерминистском участке своего развития, на котором ее поведение хорошо прогнозируется, т.к. закономерности, управляющие этим поведением на детерминистском этапе известны и не изменяются.
Если же разброс точечных прогнозов велик, то средневзвешенному прогнозу доверять нельзя, т.к. система находится в бифуркационном состоянии, на котором ее дальнейшее поведение неопределенно, т.к. закономерности, управляющие этим будущим поведением только формируются и еще не определены.
Из сравнения рисунков 90 и 91 видно, что погрешность прогнозирования и разброс точечных прогнозов сильно корреллируют. Таким образом, разброс точечных прогнозов может быть использован как количественный измеритель степени неопределенности состояния системы и позволяет оценить степень близости этого состояния к "детерминистскому" или "бифуркационному". А так как разброс точечных прогнозов может быть измерен за долго до наступления прогнозируемого состояния системы, то это позволяет прогнозировать переход системы в бифуркационное состояние.
Здесь необходимо особо отметить, что в предложенной математической модели и технологии АСК-анализа разброс точечных прогнозов не увеличивается пропорционально увеличению длительности периода прогнозирования, как доверительный интервал в статистических моделях, а является именно функцией степени объективной неопределенности состояния системы и изменяется сложным образом.
Кроме того, в системе "Эйдос" реализован режим автоматического удаления из модели классов, по которым в сформированной модели оказалась низкая достоверность идентификации и прогнозирования, после чего адекватность модели резко возрастают. Этот режим аналогичен использованию для этих целей доверительных интервалов в процедуре предсказания с помощью регрессионного анализа.
Таким образом, развитые методика, технология и программный инструментарий АСК-анализа позволяют либо надежно прогнозировать развитие активного объекта, либо надежно прогнозировать его переход в бифуркационное состояние, что само по себе также чрезвычайно ценно.
