Ентропія - це критерій максимального обсягу інформації у сукупності повідомлень.

Ентропія - це середнє значення ймовірностей всіх подій у отриманому повідомленні.

 Ентропія - це ймовірність найбільш інформативного повідомлення в отриманій сукупності повідомлень.

Ентропія - це математичне сподівання (усереднене значення) інформації, яка міститься в кожному повідомленні.

Ентропія - це відношення ймовірностей подій найбільш і найменш ймовірних подій в отриманому повідомленні.