Обучающая выборка и ее репрезентативность
Обучающая выборка является некоторым подмножеством исследуемой совокупности, которая называется "генеральная совокупность". На основе изучения обучающей выборки мы хотели бы сделать выводы о генеральной совокупности, причем важно знать степень достоверности этих выводов.
Рассмотрим, как зависит степень достоверности выводов о генеральной совокупности от объема обучающей выборки.
Если обучающая выборка включает все объекты генеральной совокупности, т.е. они совпадают, то достоверность выводов будет наиболее высокой (при всех прочих равных условиях).
Если же обучающая выборка очень мала, то вряд ли на ее основе могут быть сделаны достоверные выводы о генеральной совокупности, т.к. в этом случае в обучающую выборку могут даже не входить примеры объектов всех или подавляющего большинства классов.
Под репрезентативностью обучающей выборки будем понимать ее способность адекватно представлять генеральную совокупность, так что изучение самой генеральной совокупности можно корректно заменить исследованием обучающей выборки.
Но репрезентативность зависит не только от объема, но и от структуры обучающей выборки, т.е. от того, насколько полно представлены все категории объектов генеральной совокупности (классы) и от того, насколько полно они описаны признаками.
Взвешивание данных или ремонт обучающей выборки – это операция, в результате которой частное распределение объектов по классам в обучающей выборке максимально, на сколько это возможно, приближается либо к частотному распределению генеральной совокупности (если оно известно из независимых источников), либо к равномерному.
В системе "Эйдос" режим взвешивания данных реализован.
