có xác suất xuất hiện là

. Người ta thực hiện xây dựng bộ mã biểu diễn nguồn theo cách

thiết kế các từ mã tương ứng với các tin có độ dài

trong đó

. Gọi

là

tương đối của X với các phân bố

và

. Khi đó độ dài trung bình của từ mã của bộ mã xây dựng được thỏa

mãn: