середня кількість інформації в одному знаку повідомлень, що видає джерело

це середня швидкість видавання інформації джерелом, тобто середня кількість інформації, що виробляється джерелом за секунду.

кількість інформації, яку можна отримати про джерело А, спостерігаючи джерело В, або навпаки

це його властивість видавати інформацію більшою кількістю знаків, ніж можна було б.

6,32 біта /стани

4 біт/ стани

8 біт/ стани

2 біт/стани

збільшення надмірності повідомлень

для зменшення продуктивності джерела повідомлення

для збільшення продуктивності джерела повідомлення

зменшення надмірності повідомлень 

1

∞

 0

max

умовна ентропія більша за безумовною:

умовна ентропія збігається з безумовною:

умовна ентропія меньша за безумовною:

Кодування з метою зменшення кількості знаків, які входять в алфавіт

Кодування з метою зменшення інформації

 Кодування, яке зменшує надмірність

8

4

2

5

8

4

16