1 Info Theory

1,591 views

Published on

Published in: Business, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,591
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

1 Info Theory

  1. 1. 情報理論:楫 勇一(かじ ゆういち) <ul><li>この講義で学ぶこと </li></ul><ul><li>情報の記録や伝達を,効率よく,確実に行う ための技術 </li></ul><ul><li>それら技術の背景にある考え方,それら技術の限界 </li></ul><ul><li>現実世界で発生する情報を計算機で取り扱うための,第一段階 </li></ul><ul><li>関連する分野: </li></ul><ul><ul><li>画像情報,音声情報の処理 </li></ul></ul><ul><ul><li>通信,ネットワーク </li></ul></ul><ul><ul><li>コンピュータ,情報システム </li></ul></ul><ul><li>⇒ 情報科学・情報工学の 広い分野を,下から支える理論体系 </li></ul>
  2. 2. 講義の概要 <ul><li>第一部: 情報の量を計る </li></ul><ul><ul><li>情報を計量可能にし,工学的な議論を可能にする </li></ul></ul><ul><li>第二部: 情報をコンパクトに表現する </li></ul><ul><ul><li>情報に含まれるムダを削り,情報を圧縮する </li></ul></ul><ul><li>第三部: 情報を正確に伝える </li></ul><ul><ul><li>通信途中で発生する誤りを検出し,訂正する </li></ul></ul><ul><li>第四部: 情報を不正者から隠す </li></ul><ul><ul><li>いわゆる暗号技術の基礎について学ぶ </li></ul></ul>
  3. 3. 講義計画 <ul><li>5月29日 ... 試験 </li></ul><ul><li>講義日程の中間付近で,レポート出題予定 </li></ul><ul><li>講義資料 ...http://narayama.naist.jp/~kaji/lecture/ </li></ul>火2 8 15 22 29 6 13 20 27 木1 10 17 24 1 3 15 22 29 4月 5月
  4. 4. 第一部:情報の量を計る <ul><li>目標: 情報を計量可能にし,工学的な議論を可能にする </li></ul><ul><li>よい自動車を作りたい: </li></ul><ul><li>燃費の良い車を... 距離や燃料を 正確に計る ことが必要 </li></ul><ul><li>スピードが出る車を...距離や時間を 正確に計る ことが必要 </li></ul><ul><li>良い情報システムを作るには, 情報を正確に計る ことが必要 </li></ul><ul><li>しかし,その前に... 情報って何? </li></ul><ul><ul><li>非常に深遠で,万人が納得できる答えはない </li></ul></ul><ul><ul><li>情報理論の世界では, 情報を単純化・モデル化して考える </li></ul></ul>
  5. 5. 情報源と通報 <ul><li>情報源 ( information source ) </li></ul><ul><li>情報を発生するもの,何かを伝えようとするもの </li></ul><ul><ul><li>人間,新聞記事,プログラムの出力,温度計 etc. </li></ul></ul><ul><li>通報 ( message ) </li></ul><ul><li>情報源から発生する「もの」 </li></ul><ul><ul><li>言葉,文字,数字,気温 etc. </li></ul></ul><ul><li>通報は情報を運ぶ入れ物である. 「通報 = 情報」ではない </li></ul>
  6. 6. 情報源の分類 <ul><li>連続時間 ( continuous-time ) vs. 離散時間 ( discrete-time ) </li></ul><ul><li>連続時間情報源:時間的に途切れることなく,通報が発生 </li></ul><ul><li>離散時間情報源:決まった時刻に,通報が一個ずつ発生 </li></ul><ul><li>アナログ ( analog ) vs. デジタル ( digital ) </li></ul><ul><li>アナログ情報源:通報のとり得る値が連続集合となる </li></ul><ul><li>デジタル情報源:通報のとり得る値が離散集合となる </li></ul><ul><li>4タイプ:{連続時間, 離散時間 } × {アナログ, デジタル }情報源 </li></ul><ul><li>⇒ 離散時間デジタル情報源で,他の情報源を近似可能 </li></ul>
  7. 7. 標本化と量子化 <ul><li>標本化 ( sampling ): </li></ul><ul><li>連続時間情報源を,離散時間情報源により近似 する技法 </li></ul><ul><li>連続時間情報源から,特定の時刻に発生した通報を抜き出す </li></ul><ul><li>量子化 ( quantization ) : </li></ul><ul><li>アナログ情報源を,デジタル情報源により近似 する技法 </li></ul><ul><li>アナログ通報を,既定の代表値でもっとも近いものに置換える </li></ul>
  8. 8. 本講義における情報源 <ul><li>本講義では,離散時間デジタル情報源だけを取り扱う </li></ul><ul><li>離散時間デジタル情報源を単に情報源という </li></ul><ul><li>仮定と約束ごと: </li></ul><ul><li>情報源は, 1, 2, .... の 各時刻に通報を一個発生 する </li></ul><ul><li>通報は,離散集合 M の要素のどれか </li></ul><ul><li>通報のとりうる値は | M | 通り ... | M | 元 (| M |- ary ) 情報源という </li></ul><ul><li>同一の情報源でも,試行のたびに異なる通報を発生する </li></ul><ul><li>(非決定的動作) </li></ul><ul><li>情報源が実際に何であるのかは,興味の対象外 </li></ul><ul><li>... 情報源が発生する「 通報の確率分布 」だけに意味がある </li></ul>
  9. 9. 情報源と確率 <ul><li>コイン投げを行い,表( H )か裏( T )かを通報とする情報源: </li></ul><ul><li>試行によって,通報の発生系列は異なる </li></ul><ul><li>時刻 t に発生する通報を,確率変数 X t によりあらわす </li></ul><ul><li>時刻 t での通報 a  M の発生確率 P( X t = a ) を P Xt ( a ) と書く </li></ul><ul><li>結合確率 P( X t 1 = a 1 , X t 2 = a 2 ) を P Xt 1, Xt 2 ( a 1 , a 2 ) と書く </li></ul><ul><li>条件付確率 P( X t 2 = a 2 | X t 1 = a 1 ) を P Xt 2| Xt 1 ( a 2 | a 1 ) と書く </li></ul>時刻 5 での, T , H の発生確率 P X 5 ( T ), P X 5 ( H ) 時刻 1 2 3 4 5 6 7 8 ... 試行1 H T T H T H T H ... 試行2 T T H T H T H H ... 試行3 H H T H T T H T ... :
  10. 10. 情報源の分類 <ul><li>情報源の発生する通報の確率分布により, 2種類の分類法 アリ </li></ul><ul><li>分類法1: 記憶 があるか,記憶がないか </li></ul><ul><li>分類法2: 定常 か,定常でないか </li></ul>
  11. 11. 記憶のない情報源 <ul><li>情報源に 記憶がない ( memoryless ): </li></ul><ul><li>ある時刻の通報が,それ以前の通報とは無関係に選ばれる </li></ul><ul><li>⇒ 確率 P Xt|X 1,..., Xt –1 ( a t | a 1 ,..., a t –1 ) の値が a 1 , ..., a t –1 に依存しない </li></ul><ul><li>⇒ この場合, P Xt|X 1,..., Xt –1 ( a t | a 1 ,..., a t –1 ) = P Xt ( a t ) となる </li></ul><ul><li>(前出の)コイン投げは,記憶のない情報源である </li></ul><ul><ul><li>M = { H , T } </li></ul></ul><ul><ul><li>任意の t , 任意の a 1 , ..., a t –1  M ,任意の a t  M に対し, </li></ul></ul><ul><ul><li>P Xt|X 1,..., Xt –1 ( a t | a 1 ,..., a t –1 ) = P Xt ( a t ) = 1/2 </li></ul></ul>
  12. 12. 記憶のない情報源と記憶のある情報源 <ul><li>記憶のない情報源では, </li></ul><ul><li>⇒ 確率分布の計算が容易 </li></ul><ul><li>⇒ シンプルで扱いやすい情報源である </li></ul><ul><li>記憶のない情報源以外の情報源⇒ 記憶のある 情報源 </li></ul><ul><li>現実世界の多くの情報源は,「記憶のある」情報源 </li></ul><ul><ul><li>例:英文では,文字 q の次は u の出現確率が著しく高い </li></ul></ul><ul><ul><li>確率分布の計算も困難で,扱いにくい情報源 </li></ul></ul><ul><ul><li>通報に相関がある分, 圧縮できる余地が大きい </li></ul></ul><ul><ul><li>⇒ 第二部での議論 </li></ul></ul>
  13. 13. 定常情報源 <ul><li>定常 ( stationary )情報源: </li></ul><ul><li>時刻をシフトしても,通報の確率分布が変わらない情報源 </li></ul><ul><li>⇒ 任意の i に対して P X 1 ,..., X t ( a 1 ,..., a t ) = P X i ,..., X i+t– 1 ( a 1 ,..., a t ) </li></ul><ul><li>⇒ t = 1 のときを考えると, P X 1 ( a 1 ) = P Xi ( a 1 )... 定常確率 P( a 1 ) </li></ul><ul><ul><li>通報の発生確率は,どの時刻でも変化しない </li></ul></ul><ul><li>前出のコイン投げは定常情報源 </li></ul><ul><li>定常でない情報源の例 ... </li></ul><ul><ul><li>電話での発声: </li></ul></ul><ul><ul><li>「もしもし」から始まることが多く, P X 1 ( も) > P Xi ( も ) となる </li></ul></ul>時刻 1 2 3 4 5 6 7 8 ... 試行1 H T T H T H T H ... 試行2 T T H T H T H H ... 試行3 H H T H T T H T ... : :
  14. 14. エルゴード的情報源 <ul><li>定常情報源については,さらに細かな分類基準がある </li></ul><ul><li>エルゴード的 ( ergodic ) (定常)情報源: </li></ul><ul><li>通報に関する任意の確率統計量について,その 時間平均と </li></ul><ul><li>アンサンブル平均とが一致 するような情報源 </li></ul>: この系列中での T の発生確率 この系列中での T の発生確率 一致する その他の 統計量も ... 時刻 1 2 3 4 5 6 7 8 ... 試行1 H T T H T H T H ... 試行2 T T H T H T H H ... 試行3 H H T H T T H T ...
  15. 15. エルゴード的でない情報源 <ul><li>時刻0でコインを投げる </li></ul><ul><ul><li>コインが表 ⇒ 通報として,ずっと H を発生する </li></ul></ul><ul><ul><li>コインが裏 ⇒ 通報として,ずっと T を発生する </li></ul></ul>P( H )=0, P( T ) = 0 P( H )=1/2, P( T ) = 1/2 定常ではある <ul><li>記憶のない定常情報源 ⇒ 必ずエルゴード的 </li></ul><ul><li>記憶のある定常情報源 ⇒ エルゴード的とは限らない(上例) </li></ul>エルゴード的でない 時刻 1 2 3 4 5 6 7 8 ... 試行1 H H H H H H H H ... 試行2 T T T T T T T T ... 試行3 T T T T T T T T ... 試行4 H H H H H H H H ...
  16. 16. エルゴード性の意味 <ul><li>エルゴード情報源: </li></ul><ul><li>一つの情報源を長時間観測すれば,統計的性質が見えてくる </li></ul><ul><li>統計的性質を知るのに,多数の情報源を準備する必要なし </li></ul><ul><li>⇒ 工学上,のぞましい性質 </li></ul><ul><li>あるシステムの処理対象が </li></ul><ul><li>エルゴード的である ... </li></ul><ul><li>⇒ 一人の被験者(サンプル)で長時間テストすればOK </li></ul><ul><li>エルゴード的でない ... </li></ul><ul><li>⇒ 多くの被験者(サンプル)を集めてテストの必要アリ </li></ul><ul><li> (ある被験者には有効でも,他の被験者での効果は不明) </li></ul>
  17. 17. 小休止:ここまでのまとめ <ul><li>情報源の分類 </li></ul>定常, 記憶なし 非定常, 記憶なし 定常, 記憶あり 非定常, 記憶あり エルゴード的 エルゴード的 or エルゴード的でない 離散時間アナログ情報源 離散時間デジタル情報源 連続時間アナログ情報源 連続時間デジタル情報源 標本化 標本化 量子化 量子化
  18. 18. マルコフ情報源 <ul><li>第二部以降の議論 ... 記憶のない定常情報源が中心となる </li></ul><ul><li>実用上は,記憶のある情報源も重要 </li></ul><ul><li>記憶のある情報源の一例として, マルコフ情報源 について紹介 </li></ul><ul><li>m 重マルコフ ( m- th order Markov ) 情報源: </li></ul><ul><li>通報の発生確率が,その直前 m 個より前の通報に依存しない </li></ul><ul><li>すなわち,任意の i , 任意の n ( > m ) に対し, </li></ul><ul><li>P Xi | Xi –1, ..., Xi– n ( a i | a i –1 , ..., a i– n ) = P Xi | Xi –1, ..., Xi– m ( a i | a i –1 , ..., a i– m ) </li></ul><ul><li>記憶のない定常情報源 = 0 重マルコフ情報源 </li></ul>
  19. 19. マルコフ情報源の例 <ul><li>S: P(0) = q , P(1) = 1 – q である,記憶のない2元定常情報源 </li></ul>X i –1 = 0 のとき, R = 0... S の出力が 0 なら, X i = 0 ⇒ P Xi | Xi –1 (0 | 0) = q S の出力が 1 なら, X i = 1 ⇒ P Xi | Xi –1 (1 | 0) = 1 – q X i –1 = 1 のとき, R = 1... S の出力が 1 なら, X i = 0 ⇒ P Xi | Xi –1 (0 | 1) = 1 – q S の出力が 0 なら, X i = 1 ⇒ P Xi | Xi –1 (1 | 1) = q この情報源は, 1重 マルコフ情報源( 単純 マルコフ情報源) R=0 に R=1 に R=0 に R=1 に S R 1 ビット記憶素子 X i
  20. 20. マルコフ情報源と状態図 <ul><li>n 元 m 重 マルコフ情報源 </li></ul><ul><li>直前 m 個の通報により,次の通報が決定 </li></ul><ul><li>情報源の内部に n m 通りの内部状態 が存在,と考えられる </li></ul><ul><ul><li>各状態について,通報の発生確率が定義される </li></ul></ul><ul><li>通報の発生にともなって, 状態の遷移 が起こる </li></ul>少し違う書き方 P(0) = q P(1) = 1– q 0 P(0) = 1– q P(1) = q 1 前ページの情報源の状態図 0 1 1 / 1– q 0 / 1– q 0 / q 1 / q X i / 確率
  21. 21. 状態図による情報源定義 <ul><li>マルコフ情報源 ... 必ず状態図として表現できる </li></ul><ul><li>状態図は必ず,なんらかのマルコフ情報源と対応するか? </li></ul><ul><li>⇒ 対応しないこともある </li></ul>マルコフ情報源は,状態図により表現される情報源の 真の部分クラス である <ul><li>ただし ... あまり厳密に議論する必要なし,というケースも多い </li></ul><ul><li>状態図により表現される情報源: </li></ul><ul><li>(一般化( generalized ))マルコフ情報源 と呼ぶことも </li></ul>
  22. 22. マルコフ情報源の分類 <ul><li>既約 ( irreducible )マルコフ情報源 </li></ul><ul><li>任意の状態から任意の状態に遷移可能なマルコフ情報源 </li></ul><ul><li>正規 ( regular )マルコフ情報源 </li></ul><ul><li>十分な時間が経過した後に,状態確率分布が定常的になる </li></ul><ul><li>既約マルコフ情報源 </li></ul>0 1 2 既約でないマルコフ情報源 状態 1 からは,状態 0 や 2 に遷移できない
  23. 23. 正規マルコフ情報源の例 <ul><li>状態 0 から状態 1 へは遷移しにくい </li></ul><ul><li>状態 1 から状態 0 へは遷移しやすい </li></ul><ul><li>⇒ 十分な時間経過後は, </li></ul><ul><li>状態 0 に居る確率が高い? </li></ul>時刻 0 に居る確率 1 に居る確率 1 1.0 0.0 2 0.9 0.1 3 0.89 0.11 4 0.889 0.111 ... ... ... これらの確率は, ある値に収束する 定常確率分布 ( stationary probability distribution ) 正規マルコフ 情報源なら ... 0 1 0/0.9 1/0.1 0/0.8 1/0.2
  24. 24. 定常確率分布の計算法 <ul><li>時刻 t で状態 0 に居る確率:  t </li></ul><ul><li>時刻 t で状態 1 に居る確率:  t </li></ul><ul><li>以下の式が成り立つ </li></ul><ul><li>  t +1 = 0.9  t + 0.8  t </li></ul><ul><li>  t +1 = 0.1  t + 0.2  t </li></ul><ul><li> t +1 +  t +1 = 1 </li></ul><ul><li> t ,  t が  ,  に収束する場合,  t +1 =  t =  ,  t +1 =  t =  とし, </li></ul><ul><li>  = 0.9  + 0.8  </li></ul><ul><li>  = 0.1  + 0.2  </li></ul><ul><li> +  = 1 </li></ul>この連立方程式を解いて,  =8/9,  =1/9 0 1 0/0.9 1/0.1 0/0.8 1/0.2
  25. 25. より一般的な場合の計算法 <ul><li>確率分布ベクトル を w = ( w 0 , ..., w n –1 ) とする </li></ul><ul><li>( n は状態数, w i は,状態 i に居る確率, w 0 + ... + w n –1 = 1 ) </li></ul><ul><li>状態遷移行列 を  =( p i,j ) とする </li></ul><ul><li>( i 行 j 列目の要素 p i,j は,状態 i から状態 j への遷移確率) </li></ul><ul><li>定常確率分布は, w = w  の解 として与えられる </li></ul>(遷移確率のみ表示) これを解いて w 0 = 40/168, w 1 = 70/168, w 2 = 58/168 0 1 2 0.3 0.3 0.4 0.4 0.6 1.0 ( w 0 w 1 w 2 )=( w 0 w 1 w 2 ) 0.3 0.3 0.4 0.4 0.0 0.6 0.0 1.0 0.0 w 0 + w 1 + w 2 = 1.0
  26. 26. 正規マルコフ情報源 <ul><li>正規マルコフ情報源は,エルゴード的な定常情報源 となる </li></ul><ul><li>通報の定常確率は,定常確率分布から計算できる </li></ul>定常確率分布は, w 0 = 8/9, w 1 = 1/9 0 の定常確率 P(0) = 0.9 w 0 + 0.8 w 1 = 0.889 1 の定常確率 P(1) = 0.1 w 0 + 0.2 w 1 = 0.111 0 1 0/0.9 1/0.1 0/0.8 1/0.2
  27. 27. 本日のまとめ <ul><li>様々なタイプの情報源があることを紹介した </li></ul><ul><ul><li>自分が扱おうとしている対象がどれに相当するのか, </li></ul></ul><ul><ul><li>「相手を知る」ことが非常に大切 </li></ul></ul><ul><li>記憶のある情報源は,一般には複雑で扱いが難しい </li></ul><ul><ul><li>マルコフ情報源等, 適切なモデルにより近似を </li></ul></ul><ul><ul><li>正規マルコフ情報源...エルゴード的で扱いやすい </li></ul></ul><ul><li>次回の講義では...情報「量」を導入する </li></ul>
  28. 28. 練習問題 <ul><li>非定常で記憶のある情報源を一つ例示せよ </li></ul><ul><li>非定常で記憶のない情報源を一つ例示せよ </li></ul><ul><li>以下のマルコフ情報源について, </li></ul><ul><ul><li>状態の定常確率分布を求めよ </li></ul></ul><ul><ul><li>通報 A, B の定常確率を求めよ </li></ul></ul>0 1 2 A/0.4 A/0.5 B/0.6 A/0.8 B/0.5 B/0.2
  29. 29. 情報基礎学講座(関研)講座紹介 <ul><li>明日の水曜3限( 13:30-- ), B507 の部屋にて </li></ul><ul><li>その他の日時も,随時受付中 </li></ul><ul><li>メイルで連絡 kaji@is.naist.jp まで連絡 </li></ul><ul><li>オフィス B505 まで直接訪問 </li></ul>

×