情報エントロピーと秤とコインのパズルの解説です。 動画はこちら https://youtu.be/lJdimIrPB2A

1. 解説#83 情報エントロピー
https://www.youtube.com/user/blinknetmonitoring
安藤類央

2. 秤とコインのパズル
❏ 手元に１２個のコインと秤がある。
❏ １２個のコインのうち、１つは
偽金で他の１１個のコインより重い。
❏ ２～３回の測定で偽金を見つけるには
どうするか?
❏ このパズルを情報エントロピーを使って
考えてみる。

3. エントロピーとは?
• 不確かさの尺度。
• エントロピーは分枝性を持つ。
• Yを知ると、Xの不確かさはH(X)からH(X|Y)へ減少する。
• Yを知ることで不確かさの分布がP1..PnからQ1..Qnへ変化する
とすると、
• 「どのコインが重いか」の
わからなさ加減をHとする。

4. 秤とコインのパズルと木構造
3 4
1,2 3,4
5,6 7,8 1 2
7,8 3,6 1 2
4 3
7 8 3 6
下に行くほどエントロピーHは減る
秤に乗せて計る程、重いコインが
どれか見当がつきやすくなる。

5. 凸関数性 - イェンゼンの不等式
Ｈ
上の式をイェンゼンの不等式という。
木を下に降りる程、不確実性Hが減る。
これをHは凸関数性を持つという。
具体的には下の式で表される。
Hが減少する。

6. イェンゼンの不等式と熱力学の法則
𝐶 (
𝑇 − 𝑇 ) = 0 熱力学の第一法則
Ci…Ckの熱溜めがあり、これらを接触させ、熱平衡Tfに達した場合、
熱力学の第一法則 - エネルギーの保存則から、
𝑇 =
1
𝑘
𝑇
ΔS = c
𝑑𝑇
𝑇
= 𝐶 {ln 𝑇 −
1
𝑘
({+ ⋯ ln(𝑇 )}
ln(
1
𝑘
𝑇 ) −
1
𝑘
{ln 𝑇 + ⋯ ln 𝑇 } ≥ 0
ln(
1
𝑘
𝑇 ) ≥
1
𝑘
{ln 𝑇 + ⋯ ln 𝑇 }
熱力学の第二法則
Ci…Ckが熱平衡Tfに達した場合の
全体のエントロピーの増加分をΔSとすると、

7. イェンゼンの不等式と熱力学の法則
Ｈ
全体の平均しか知らない場合 個別の平均を知っている場合
↑lnを取ると、算術平均 > 幾何平均となる。
分布P1…Pkの区別がなくなり均されて、平衡すると、熱力学エントロピーは増加する

8. 知能的であるとは?
Ｈ
❏ランダムに選択したものを、
測定（平衡）させることができる。
❏分布状態がλ1…λkの頻度でP1…Pkと変化する
として、その都度、そのPの分布状態が
確定できるほど「知能的」あるなら、
エントロピーは減少する。