Интеллектуальные информационные системы


Простейшее понятие об информации (подход Хартли).


Будем считать, что если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным.

Найдем вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, т.е. с его мощностью.

Если множество элементов, из которых осуществляется выбор, состоит из одного-единственного элемента, то ясно, что его выбор предопределен, т.е. никакой неопределенности выбора нет. Таким образом, если мы узнаем, что выбран этот единственный элемент, то, очевидно, при этом мы не получаем никакой новой информации, т.е. получаем нулевое количество информации.

Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации, которое мы получаем, узнав, что совершен выбор одного из элементов. Минимальное количество информации получается при выборе одного из двух равновероятных вариантов. Это количество информации принято за единицу измерения и называется "бит".

Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации мы получаем, узнав о том, какой выбран элемент.

Рассмотрим множество, состоящее из чисел в двоичной системе счисления длиной i двоичных разрядов. При этом каждый из разрядов может принимать значения только 0 и 1 (таблица 32).

Таблица 32 – К ЭВРИСТИЧЕСКОМУ ВЫВОДУ ФОРМУЛЫ КОЛИЧЕСТВА ИНФОРМАЦИИ ПО ХАРТЛИ

Кол-во

двоичных

разрядов (i)

Кол-во состояний N,

которое можно пронумеровать

i-разрядными двоичными числами

Основание

системы счисления

10

16

2

1

2

0

1

0

1

0

    1

2

4

0

1

2

3

0

1

2

3

   00

   01

   10

   11

3

8

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

  000

  001

  010

  011

  100

  101

  110

  111

4

16

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

0

1

2

3

4

5

6

7

8

9

A

B

C

D

E

F

 0000

 0001

 0010

 0011

 0100

 0101

 0110

 0111

 1000

 1001

 1010

 1011

 1100

 1101

 1110

 1111

***

***

 

 

 

i

N=2i

<


Начало  Назад  Вперед



Книжный магазин