• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
情報学特論#02
 

情報学特論#02

on

  • 2,999 views

 

Statistics

Views

Total Views
2,999
Views on SlideShare
2,967
Embed Views
32

Actions

Likes
0
Downloads
4
Comments
0

2 Embeds 32

http://coderwall.com 31
http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    情報学特論#02 情報学特論#02 Presentation Transcript

    • 情報学特論#02 2008-04-21 むらた けんた
    • おしながき• Shannon 情報量と Boltzmann エントロ ピー • 情報量の定義 • Shannon エントロピーと Boltzmann エントロピー• 可逆計算の物理学 • 計算で必要なエネルギー 2
    • Shannon 情報量とBoltzmann エントロピー の続き 3
    • 素朴な疑 問 4
    • 情報ってなんだろう? 5
    • 分かる人 ノシ 6
    • Wikipedia 7
    • 広義の情報(じょうほう、英 Information)は、人の判断・意思を左右・決定させるすべての事象である。 これは一定の文脈の中で意味を持つものを広く指す概念であり、言語、貨幣、法律、環境中の光や音、神経の発火やホルモンなどの生体シグナルを始め、あらゆるものを「情報」とみなすことができる。たとえば、<私>の意識にのぼるあらゆるものは、<私>にとって意味があるものであり、<私>にとっての「情報」であると言える。 8
    • 広義の情報(じょうほう、英 Information)は、人の判断・意思を左右・決定させるすべての事象である。 これは一定の文脈の中で意味を持つものを広く指す概念であり、言語、貨幣、法律、環境中の光や音、神経の発火やホルモンなどの生体シグナルを始め、あらゆるものを「情報」とみなすことができる。たとえば、<私>の意識にのぼるあらゆるものは、<私>にとって意味があるものであり、<私>にとっての「情報」であると言える。 9
    • 広義の情報(じょうほう、英 Information)は、人の判断・意思を左右・決定させるすべての事象である。 これは一定の文脈の中で意味を持つものを広く指す概念であり、言語、貨幣、法律、環境中の光や音、神経の発火やホルモンなどの生体シグナルを始め、あらゆるものを「情報」とみなすことができる。たとえば、<私>の意識にのぼるあらゆるものは、<私>にとって意味があるものであり、<私>にとっての「情報」であると言える。 10
    • 広義の情報(じょうほう、英 Information)は、人の判断・意思を左右・決定させるすべての事象である。 これは一定の文脈の中で意味を持つものを広く指す概念であり、言語、貨幣、法律、環境中の光や音、神経の発火やホルモンなどの生体シグナルを始め、あらゆるものを「情報」とみなすことができる。たとえば、<私>の意識にのぼるあらゆるものは、<私>にとって意味があるものであり、<私>にとっての「情報」であると言える。 11
    • 広義の情報(じょうほう、英 Information)は、人の判断・意思を左右・決定させるすべての事象である。 これは一定の文脈の中で意味を持つものを広く指す概念であり、言語、貨幣、法律、環境中の光や音、神経の発火やホルモンなどの生体シグナルを始め、あらゆるものを「情報」とみなすことができる。たとえば、<私>の意識にのぼるあらゆるものは、<私>にとって意味があるものであり、<私>にとっての「情報」であると言える。 12
    • <私>にとっての「情報」 13
    • <私>にとっての「情報」「情報」は,それを受け取る人 によって性質が異なるもの 13
    • 受信者に依存して情報の 性質が変化する 14
    • 受信者に依存して情報の 性質が変化する• これは当たり前である 14
    • 受信者に依存して情報の 性質が変化する• これは当たり前である• このままでは情報についての客観的な 性質や法則を調べることはできない 14
    • 受信者に依存して情報の 性質が変化する• これは当たり前である• このままでは情報についての客観的な 性質や法則を調べることはできない• 情報の「内容」は無視し,情報の 「量」について調べよう! 14
    • 情報の「量」が持つ 3つの性質 15
    • 情報量の性質 (1) 16
    • 情報量の性質 (1)• 予め分かっている事を教えられたり, 起こる可能性が100%である出来事が 発生したとしても,それらに関する情 報を得たことにはならない 16
    • 情報量の性質 (1)• 予め分かっている事を教えられたり, 起こる可能性が100%である出来事が 発生したとしても,それらに関する情 報を得たことにはならない• 既知情報が持つ情報量はゼロ 16
    • 情報量の性質 (2) 17
    • 情報量の性質 (2)• ある知識を一度に知るのか,それとも 少しずつ複数回に分けて知るのかに よって,最終的に得られる情報量は変 化しない 17
    • どういうことか?• 52枚のトランプの山から1枚取りまし た.何か当ててみてください. 18
    • どういうことか?• 52枚のトランプの山から1枚取りまし た.何か当ててみてください. (1) カードは♥7です. 18
    • どういうことか?• 52枚のトランプの山から1枚取りまし た.何か当ててみてください. (1) カードは♥7です. (2) 少しずつヒントを出していく. 18
    • どういうことか?• 52枚のトランプの山から1枚取りまし た.何か当ててみてください. (1) カードは♥7です. (2) 少しずつヒントを出していく. i. カードは赤です. 18
    • どういうことか?• 52枚のトランプの山から1枚取りまし た.何か当ててみてください. (1) カードは♥7です. (2) 少しずつヒントを出していく. i. カードは赤です. ii. カードは奇数です. 18
    • どういうことか?• 52枚のトランプの山から1枚取りまし た.何か当ててみてください. (1) カードは♥7です. (2) 少しずつヒントを出していく. i. カードは赤です. ii. カードは奇数です. iii. カードは文字ではありません. 18
    • 無知 19
    • 無知 ♥7 19
    • 無知 ♥7 赤 19
    • 無知 ♥7 赤 赤 奇数 19
    • 無知 ♥7 赤 奇数 ¬文字 赤 赤 奇数 19
    • 無知 ♥7 赤 奇数 ¬文字 赤 赤 奇数 19
    • 最終的に得られる知識は同じ無知 ♥7 赤 奇数 ¬文字 赤 赤 奇数 19
    • 知識を得る順番にも依存しない無知 ♥7 20
    • 知識を得る順番にも依存しない 赤無知 赤 奇数 ♥7 赤 奇数 ¬文字 20
    • 知識を得る順番にも依存しない無知 ♥7 21
    • 知識を得る順番にも依存しない 奇数 赤無知 奇数 ♥7 奇数 赤 ¬文字 21
    • 形式的に考える 22
    • 形式的に考える• 出来事 E が発生したことで得られる情 報の量を I(E) と書くことにする. 22
    • 形式的に考える• 出来事 E が発生したことで得られる情 報の量を I(E) と書くことにする.• トランプの例をこの記法で書くと次式 のように表せる 22
    • 形式的に考える• 出来事 E が発生したことで得られる情 報の量を I(E) と書くことにする.• トランプの例をこの記法で書くと次式 のように表せるI(♥7) = I(赤 奇数 ¬文字 …) = I(赤) + I(奇数) + I(¬文字) + I(…) 22
    • 情報量の性質 (2)• ある知識を一度に知るのか,それとも少しず つ複数回に分けて知るのかによって,最終的 に得られる情報量は変化しない 23
    • 情報量の性質 (2)• ある知識を一度に知るのか,それとも少しず つ複数回に分けて知るのかによって,最終的 に得られる情報量は変化しない• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個 の出来事に分解できるとき 23
    • 情報量の性質 (2)• ある知識を一度に知るのか,それとも少しず つ複数回に分けて知るのかによって,最終的 に得られる情報量は変化しない• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個 の出来事に分解できるとき ∞ I(E) = I(Ek ) k=1 23
    • 情報量の加法性• ある知識を一度に知るのか,それとも少しず つ複数回に分けて知るのかによって,最終的 に得られる情報量は変化しない• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個 の出来事に分解できるとき ∞ I(E) = I(Ek ) k=1 23
    • 情報量の性質 (3) 24
    • 情報量の性質 (3)• 滅多に起こらない出来事 (予測しにくい 出来事) の発生や,具体的な知識の獲得 などに伴って得られる情報量は大きい 24
    • 情報量の性質 (3)• 滅多に起こらない出来事 (予測しにくい 出来事) の発生や,具体的な知識の獲得 などに伴って得られる情報量は大きい• 逆に,よくある出来事 (予測しやすい出 来事) の発生や,不確かな知識・曖昧な 知識の獲得などに伴って得られる情報 量は小さい 24
    • トランプの逆襲 25
    • トランプの逆襲無知 ♥7 赤 奇数 ¬文字 赤 赤 奇数 25
    • Venn 図で考える 26
    • Venn 図で考えるトランプ52枚 26
    • Venn 図で考える赤トランプ52枚 26
    • Venn 図で考える赤トランプ52枚 奇数 26
    • Venn 図で考える赤 文字以外トランプ52枚 奇数 26
    • Venn 図で考える赤 文字以外♥トランプ52枚 奇数 26
    • Venn 図で考える赤 文字以外 7♥トランプ52枚 奇数 26
    • Venn 図で考える赤 文字以外 7♥ ♥7トランプ52枚 奇数 26
    • すなわち 27
    • 発生確率が小さい出来 事の情報量は大きい発生確率が大きい出来 事の情報量は小さい 28
    • 情報量の性質• 既知の出来事(発生確率が 100%)の発生に 伴う情報量はゼロ• 情報量の加法性: 出来事が E = E 1 ∩ E2 ∩ … の ように高々加算個の出来事に分解できるとき ∞ I(E) = I(Ek ) k=1• 情報量は出来事の発生確率に反比例 29
    • この性質を満たす数学上の道具が欲しい 30
    • あるよ! 31
    • 32
    • 出来事 E が確率 P(E) で発生するとき,E の発生に伴って得られる情報量 I(E) は 32
    • 出来事 E が確率 P(E) で発生するとき,E の発生に伴って得られる情報量 I(E) は 1 I(E) = logb P (E) 32
    • 出来事 E が確率 P(E) で発生するとき,E の発生に伴って得られる情報量 I(E) は 1 I(E) = logb P (E)対数の底が b = 2 のとき,I(E) に [shannon]もしくは [bit] という単位を付ける.これをShannon 情報量と呼ぶことがある. 32
    • 例題箱に赤玉と白玉が1個ずつ入っています.中身を見ずに1個だけ玉を取り出したとき,それが赤玉である確率 P赤 と,そのときに得られる情報量 I赤 を求めなさい. 33
    • 答箱の中から取り出した玉は赤か白のどち 1らかなので P赤 = 2従って,得られる情報量は 1 I赤 = log2 = − log2 P赤 P赤 1 = − log2 = log2 2 2 = 1 [shannon] 34
    • 情報源 35
    • 情報源• 情報が出てくる源を情報源という 35
    • 情報源• 情報が出てくる源を情報源という • 例: 新聞,TV,PC,人間,… 35
    • 情報源• 情報が出てくる源を情報源という • 例: 新聞,TV,PC,人間,…• 一般に,ひとつの情報源から出てくる 情報は様々であり,それぞれの情報が 異なる大きさの情報量を持っていても 良いはずである 35
    • 情報源が持つ平均情報量 36
    • 情報源が持つ平均情報量情報源から出る可能性がある情報について,それらの情報量を情報源全体で平均すると,情報源から得られる情報量の期待値がわかる 36
    • 情報源が持つ平均情報量情報源から出る可能性がある情報について,それらの情報量を情報源全体で平均すると,情報源から得られる情報量の期待値がわかる Shannon エントロピー 36
    • Shannon エントロピー 37
    • Shannon エントロピー• 情報源 S が高々可算個の情報 (出来事) E , E , 1 2 … を持っていて,それぞれの確率が P1, P2, … であるとする. 37
    • Shannon エントロピー• 情報源 S が高々可算個の情報 (出来事) E , E , 1 2 … を持っていて,それぞれの確率が P1, P2, … であるとする.• このとき,情報源 S の Shannon エントロ ピー H(S) は次式で与えられる (単位は情報量 と同じ [shannon] である). 37
    • Shannon エントロピー• 情報源 S が高々可算個の情報 (出来事) E , E , 1 2 … を持っていて,それぞれの確率が P1, P2, … であるとする.• このとき,情報源 S の Shannon エントロ ピー H(S) は次式で与えられる (単位は情報量 と同じ [shannon] である). ∞ ∞ 1 H(S) = Pk I(Ek ) = Pk log2 Pk k=1 k=1 37
    • 例題• 箱の中に赤玉と白玉が合計 n 個入っていて, そのうち赤玉は m 個である.• 箱の中を見ずに玉を一個取り出したときに赤 玉が出る確率 P赤 と,白玉が出る確率 P白 を 求め,それぞれの場合の情報量 I赤 と I白 を求 めよ.• さらに,箱のエントロピー H 箱 を求めよ. 38
    • 答 mP赤 = n m n−mP白 = 1 − P赤 = 1 − = n n 1 nI赤 = log2 = log2 = log2 n − log2 m [shannon] P赤 m 1 nI白 = log2 = log2 = log2 n − log2 (n − m) P白 n−m [shannon] 39
    • 答 (つづき)H箱 = P赤 I赤 + P白 I白 m = (log2 n − log2 m) n n−m + (log2 n − log2 (n − m)) n m = log2 n − log2 (n − m) − [log2 m − log2 (n − m)] n [shannon] 40
    • H箱 は P赤 の関数である mH箱 = log2 n − log2 (n − m) − [log2 m − log2 (n − m)] n n m m = log2 − log2 n−m n n−m 1 P赤 = log2 − P赤 log2 P白 P白 1 P赤 = log2 − P赤 log2 1 − P赤 1 − P赤 41
    • 演習問題• 次の関数 H(P) が P = 1/2 で最大値を示 すことを証明しなさい. 1 P H(P ) = log2 − P log2 1−P 1−P※ グラフを描いても証明にはならないので注意すること 42
    • 突然ですが 43
    • 前回の演習問題 を思い出そう 44
    • 1分子理想気体の等温圧縮 V1 V2 1 ここで V2 = V1 2圧縮前後での気体のエントロピーと自由エネルギーの変化は ∆S = −kB log 2 ∆F = kB T log 2 45
    • しかし… 46
    • しかし…等温圧縮では気体の内部エネルギーは変化しないため,1個しか存在ない分子が持つ運動エネルギーも変化しない… 46
    • しかし…等温圧縮では気体の内部エネルギーは変化しないため,1個しか存在ない分子が持つ運動エネルギーも変化しない…分子の運動状態が変化しないのにエントロピーと自由エネルギーが変化した理由は,気体の圧縮によって分子が存在可能な場所に関する我々の知識が変化したから! 46
    • 情報量との関係 47
    • 情報量との関係• 気体の体積が半分になると,エントロ ピーが kB log 2 だけ減少する• 気体を情報源として見たとき, 気体の 体積が半分になることは,気体から得 られる情報の可能性が半減したことと 同じである 47
    • 得られる情報が半減したときの Shannon エントロピーの変化サイコロで考える:(1) ふつうのサイコロ(2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 48
    • 得られる情報が半減したときの Shannon エントロピーの変化サイコロで考える:(1) ふつうのサイコロ 1 H1 = 6 × log2 6 = 1 + log2 3 [shannon] 6(2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 48
    • 得られる情報が半減したときの Shannon エントロピーの変化サイコロで考える:(1) ふつうのサイコロ 1 H1 = 6 × log2 6 = 1 + log2 3 [shannon] 6(2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 1 H2 = 3 × log2 3 = log2 3 [shannon] 3 48
    • 得られる情報が半減したときの Shannon エントロピーの変化サイコロで考える:(1) ふつうのサイコロ 1 H1 = 6 × log2 6 = 1 + log2 3 [shannon] 6(2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 1 H2 = 3 × log2 3 = log2 3 [shannon] 3 ∆H = H1 − H2 = 1 [shannon] 48
    • Shannon エントロピーとBoltzmann エントロピー 49
    • Shannon エントロピーと Boltzmann エントロピー系の可能な状態数が 1/2 になるとき,系のBoltzmann エントロピーは kB log 2 [J/K]だけ減少し,そのとき変化する Shannonエントロピーは 1 [shannon] である. 49
    • Shannon エントロピーと Boltzmann エントロピー系の可能な状態数が 1/2 になるとき,系のBoltzmann エントロピーは kB log 2 [J/K]だけ減少し,そのとき変化する Shannonエントロピーは 1 [shannon] である. 1 [shannon] = kB log 2 [J/K] 49
    • エントロピーが減少?• 熱力学第2法則 50
    • エントロピーが減少?• 熱力学第2法則 • 閉鎖系のエントロピーは減少しない 50
    • エントロピーが減少?• 熱力学第2法則 • 閉鎖系のエントロピーは減少しない• 気体を等温圧縮したことを観測した人間まで 含めて閉鎖系として考えると,減少した気体 のエントロピーは,観測者のエントロピーを (知識という形で) 上昇させる 50
    • 可逆計算の物理学 51
    • 計算に必要な最小のエネルギー 52
    • 計算に必要な最小のエネルギー• 現存するすべての計算機 (CPU) は動作 するために大量の熱を発生させている 52
    • 計算に必要な最小のエネルギー• 現存するすべての計算機 (CPU) は動作 するために大量の熱を発生させている• このような無駄な発熱をゼロにできる と仮定したとき,計算をするためだけ に本質的に必要なエネルギー量はどの くらいになるだろう? 52
    • 計算機と物理学 53
    • 計算機と物理学• コンピュータで行う計算について最も低いレ ベルで考えるとき,我々は論理回路を扱う 53
    • 計算機と物理学• コンピュータで行う計算について最も低いレ ベルで考えるとき,我々は論理回路を扱う• しかしながら,論理回路で用いる論理ゲート は物理的に実現された素子の理想化である 53
    • 計算機と物理学• コンピュータで行う計算について最も低いレ ベルで考えるとき,我々は論理回路を扱う• しかしながら,論理回路で用いる論理ゲート は物理的に実現された素子の理想化である• 計算機の論理状態には必ず何らかの物理状態 が対応している 53
    • 論理状態と物理状態 54
    • 論理状態と物理状態• 論理状態と物理状態が対応していると いうことは… 54
    • 論理状態と物理状態• 論理状態と物理状態が対応していると いうことは…• 可能な論理状態の個数が増減すると き,同時に対応する物理状態の候補も 増減する 54
    • 状態の増減と消費エネルギー• 思い出そう! 55
    • 状態の増減と消費エネルギー• 思い出そう! • 系の状態が減少するとき,系のエントロ ピーは減少し,系の自由エネルギーは増 加する 55
    • 状態の増減と消費エネルギー• 思い出そう! • 系の状態が減少するとき,系のエントロ ピーは減少し,系の自由エネルギーは増 加する• 従って,計算機の論理状態が減少するとき, 計算機のエントロピーは減少し,計算機の自 由エネルギーは増加する 55
    • Landauer の原理 (1) 56
    • Landauer の原理 (1)• コンピュータが情報量 1 [shannon] を 消去するとする.環境に放出される消 費エネルギーの量は少なくとも kBT log 2 [J] である.ここで T はコン ピュータの環境の温度である. 56
    • Landauer の原理 (2) 57
    • Landauer の原理 (2)• コンピュータが情報 1 [shannon] を消 去するとする.環境のエントロピーは 少なくとも kB log 2 [J/K] だけ増加す る. 57