एक घटना के प्रायिकता \(P_1=\frac{1}{2}\) और \(P_2=\frac{1}{64}\) के साथ दो संभावित परिणाम होते हैं। प्रति सेकंड 16 परिणामों के साथ सूचना की दर क्या है?

अवधारणा:

घटना से जुड़ी सूचना घटना की प्रायिकता के "विपरीत" आनुपातिक है।

एन्ट्रापी : सूचना की औसत मात्रा को "एंट्रॉपी" कहते हैं। इसे इसके द्वारा दिया जाता है:

\(H = \;\mathop \sum \limits_i {P_i}{\log _2}\left( {\frac{1}{{{P_i}}}} \right)\;bits/symbol\)

सूचना की दर = r.H

गणना:

दिया हुआ: r = 16 परिणाम/sec

\(P_1=\frac{1}{2}\) और \(P_2=\frac{1}{64}\) 

\( H = \frac{1}{2}{\log _22} + \frac{1}{64}{\log_264};\)

\(H=\frac{19}{32} \ bits/outcomes\)

∴ सूचना की दर = r.H

Rs = 16 x 19/32

Rs = 19/2 or 38/4 bits/sec