Crowdly
Add to Chrome
Теорія інформації та кодування (ЗІ)
Looking for Теорія інформації та кодування (ЗІ) test answers and solutions? Browse our comprehensive collection of verified answers for Теорія інформації та кодування (ЗІ) at vns.lpnu.ua.
Get instant access to accurate answers and detailed explanations for your course questions. Our community-driven platform helps students succeed!
Швидкість утворення джерелом інформації повідомлень - продуктивність джерела щодо конкретного повідомлення можна визначити так
Види умовної ентропії
Ансамблі повідомлень Х (х1,х2,х3) та У (у1,у2) об’єднані. Ймовірності сумісних подій р (х,у) приведені в таблиці.
| хі | ||||
| х1 | х2 | х3 | ||
| уі | у1 | 0,2 | 0,21 | 0,1 |
| у2 | 0,12 | 0,18 | 0,19 |
Визначити умовну ентропію ансамблю повідомлень Н(Х/У).
Ентропія називається умовною у тому випадку, коли ентропія джерела повідомлень змінюється з урахуванням умовних ймовірностей.
Умовну ймовірність можна отримати з безумовної ймовірності p(x) чи p(y) та сумісної ймовірності системи випадкових величин p(x,y)
Ансамблі повідомлень Х (х1,х2,х3) та У (у1,у2) об’єднані. Ймовірності сумісних подій р (х,у) приведені в таблиці.
| хі | ||||
| х1 | х2 | х3 | ||
| уі | у1 | 0,25 | 0 | 0,15 |
| у2 | 0,1 | 0,2 | 0,3 |
Визначити ентропію об'єднаного ансамблю повідомлень.
Загальна умовна ентропія визначається за таким виразом:
Продуктивність джерела інформації визначається сумарною кількістю інформації, що виробляється джерелом за одиницю часу.
Для збільшення статистичної надмірності, обумовленої нерівноімовірністю повідомленьджерела, використовуються оптимальні нерівномірні коди.
Основна теорема кодування дискретного джерела повідомлень (сформульована і доведена К. Шенноном)