情報量の加法性と証明を解説してみた

こんにちは、きちえです。

情報の加法性

ある事象Eは二つの事象\(E_1\)と事象\(E_2\)の積であるとします、この時、事象Eの自己情報量は対数を使っているので、
(\(当たる確率\frac{1}{2}のあたりをE_1ハズレをE_2とする\))
\(I(E) = I(E_1) + I(E_2)\) という風に二つの自己情報量の和になります。

情報量の加法性の証明

トランプの全カード４種類が13枚ずつあるとします。（ジョーカーは除く）
ここから1枚のカードを引く事象を考えます、引いたカードは自分で見ないで誰かに見てもらってその内容を言葉で教えてもらいます。
[1]引いたカードがダイヤのAであることを知った時の情報量は
\(I(ダイヤのA) = -\log_2\frac{1}{52} = \log_2 52 ≒ 5.70 \mathrm{[bit]}\) [2]引いたカードがAであることを知った時の情報量は
\(I(A) = -\log_2\frac{1}{4} = \log_2 4 = 2 \mathrm{[bit]}\) [3]引いたカードがダイヤであることを知った時の情報量は
\(I(ダイヤ) = -\log_2\frac{1}{13} = \log_2 13 ≒ 3.70 \mathrm{[bit]}\)

以上のことから、
\( I(ダイヤのA) = I(A) + I(ダイヤ)\) が成り立ち、情報量の加法性が成立します。