Crowdly
Додати до Chrome
Теорія інформації та кодування (ЗІ)
Шукаєте відповіді та рішення тестів для Теорія інформації та кодування (ЗІ)? Перегляньте нашу велику колекцію перевірених відповідей для Теорія інформації та кодування (ЗІ) в vns.lpnu.ua.
Отримайте миттєвий доступ до точних відповідей та детальних пояснень для питань вашого курсу. Наша платформа, створена спільнотою, допомагає студентам досягати успіху!
Швидкість утворення джерелом інформації повідомлень - продуктивність джерела щодо конкретного повідомлення можна визначити так
Види умовної ентропії
Ансамблі повідомлень Х (х1,х2,х3) та У (у1,у2) об’єднані. Ймовірності сумісних подій р (х,у) приведені в таблиці.
| хі | ||||
| х1 | х2 | х3 | ||
| уі | у1 | 0,2 | 0,21 | 0,1 |
| у2 | 0,12 | 0,18 | 0,19 |
Визначити умовну ентропію ансамблю повідомлень Н(Х/У).
Ентропія називається умовною у тому випадку, коли ентропія джерела повідомлень змінюється з урахуванням умовних ймовірностей.
Умовну ймовірність можна отримати з безумовної ймовірності p(x) чи p(y) та сумісної ймовірності системи випадкових величин p(x,y)
Ансамблі повідомлень Х (х1,х2,х3) та У (у1,у2) об’єднані. Ймовірності сумісних подій р (х,у) приведені в таблиці.
| хі | ||||
| х1 | х2 | х3 | ||
| уі | у1 | 0,25 | 0 | 0,15 |
| у2 | 0,1 | 0,2 | 0,3 |
Визначити ентропію об'єднаного ансамблю повідомлень.
Загальна умовна ентропія визначається за таким виразом:
Продуктивність джерела інформації визначається сумарною кількістю інформації, що виробляється джерелом за одиницю часу.
Для збільшення статистичної надмірності, обумовленої нерівноімовірністю повідомленьджерела, використовуються оптимальні нерівномірні коди.
Основна теорема кодування дискретного джерела повідомлень (сформульована і доведена К. Шенноном)