Интеллектуальные информационные системы


Мера Шеннона, как обобщение меры Хартли для неравновероятных событий.


Представим себе, что имеются объекты различных видов, причем:

– всего имеется M видов объектов;

– объектов каждого i-го вида имеется Ni.

Тогда по Хартли, если мы извлекаем один из объектов i-го вида, то получаем Ii бит информации

В среднем по

 на один объект i-го вида.

Сумма этих средних будет равна:

(где: pi=1/Ni, – вероятность встречи объектов i-го вида).

Последнее выражение – это и есть формула Шеннона, которая, таким образом, позволяет рассчитать средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов.

Отметим, что идентификация объектов, как относящихся к тому или иному виду (i-му виду) осуществляется на основе признаков

этих объектов. В простейшем варианте это может быть и один признак, например номер вида на бильярдном шаре, но в реальных случаях признаков может быть очень много и их различные наборы сложным и неоднозначным образом могут быть связаны с принадлежностью объектов к тем или иным классам.

Но главный вывод от этого не изменяется: формула Шеннона дает средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов (классов), отличающихся своими наборами признаков. Мера Шеннона является обобщением меры Хартли для неравновероятных событий.




Начало  Назад  Вперед