The presentation material for my lecture at the open campus, 22nd Sep. 2018

情報学を
理解するための
基礎数学
国際情報学部オープンキャンパス
中央大学国際情報学部
開設準備室教授飯尾淳

国際情報学部 Copyright © Jun Iio 2
数学は役にたたない？（１）
A
B
C

数学は役にたたない？（２）
3m
4m
B
A C

数学は役にたたない？（３）
●
山の標高（BC）はどう測る？
– 測れるもの：AB，∠BAC
– 測れないもの：AC，BC
B
A C

数学と芸術（１）
●
黄金比
– およそ5:8
– 1:1.618
●
フィボナッチ数
– 1, 1, 2, 3, 5, 8, 13, …

数学と芸術（２）
●
数式の美しさ
– 例：オイラーの公式

情報学を学ぶために必要な数学
●
統計学（確率・統計）
– 社会の出来事をデータ化して情報学で分析できるよ
うにするために必須の知識
– ビッグデータ，データサイエンティスト
●
代数幾何学（線形代数）
– 多変量解析を理解するためには必須の知識
– 社会の出来事は，複雑な要素からできている
●
解析学
– モデル化した空間の状況把握に必須の知識
– 最適解をいかに求めるかなどでも利用

ところで「情報」とは？
●
「隣の太郎さんちに男の子が生まれたよ！」
●
「明日Aスーパーでバーゲンセールやるって」
●
「来月から〇〇駅の改札が自動化されるそう」
●
「B社のXっていう車がモデルチェンジする」
●
「売れ残りのお弁当は17時から半額だって」
●
「試験ダメでも全出席なら単位出るってさ」

これは「意味のある情報」か？
●
ケース1
– 裏表，それぞれ1/2の確率※で出るコインを振った
⇒「表が出た」
●
ケース2
– 裏が出る確率が0，表が出る確率が1 ※（つまり，
どうやっても表しか出ない）のコインを振った
⇒「表が出た」
※ これらの確率は事前に知っているものとする

エントロピー（１）
●
「不確かな情報が明らかになる」⇒ ありがたい
●
情報の優劣を定量的に比較するには？
– 「情報の不確かさを定義する指標」が必要
●
定義：（なぜこう定義するかは以降のスライドで…）
H (p) = - Σi
( pi
log (pi
) )
●
p = {Pr(表が出る)=½, Pr(裏が出る)=½}なら，
H (p) = - ( ½ log (½) + ½ log (½) ) = - log (½)
= log (2) = 1

エントロピー（２）
● 確率 pi
で発生する「i 」という事象が明らかに
なったときの「ありがたさ」
– 情報の不確かさを定義する量 ⇒ f (pi
)
● { p0
, p1
, …, pi
, …, pn
} の全体についての
「ありがたさ」を定義したい ⇒
「f (pi
)の期待値」を計算すればよい
– 期待値：p0
・f (p0
) + p1
・f (p1
) + …+ pn
・f (pn
)
● pi
に対する「f の定義」：f (pi
) = - log (pi
)

エントロピー（３）
●
- log (p)のグラフ →
●
p の範囲… 0≦ p ≦１
●
p が1.0に近い事象
– 頻繁に出る …
価値は低い
●
p が0.0に近い事象
– 頻繁に出ない …
価値は高い
● - log (pi
) の期待値を
エントロピーとする 0.0 1.0 p

エントロピー（４）
●
コインの表裏に関するエントロピーのグラフ
0.0 1.00.5 p

情報圧縮
●
情報量を保ちつつ，データサイズを小さくする
→ 可逆圧縮．元に戻すことができる
●
zip, データを圧縮してメールでの送付（添付）をやりや
すくするなど
●
情報量は減るがデータサイズをより小さくする
→ 不可逆圧縮．元には戻せない
●
JPEG画像や，音声，動画のコーデックなど
●
少しぐらい劣化しても人間の目や耳には見分けがつかな
い

可逆圧縮の基本原理
元データ復号した元データ
圧縮データ
圧縮：全体が小さく
なるように最適な
コードの割付を行う
展開：割り付けた
コードを元に戻す

情報圧縮のアイデア（１）
●
コンピュータの中では，全ての情報は0と1で表
現される
– 「A」（Aという文字） … 0100 0001
– 「B」 … 0100 0010
– 「C」 … 0100 0011
…
– 「Z」 … 0101 1010
●
ただし，やみくもに短くするわけにはいかない
– 全てのコードは何らかの文字に割り当てられている
から
どの文字にも
均等なコードが
割り振られる

情報圧縮のアイデア（２）
1.コードの長さを可変にしよう
2.そのうえで，頻繁に出てくる文字ほど，短い
コードを割り当てるようにしよう（あまり使わ
ない文字は長いコードでもいいことにしよう）
• ハフマン符号：最も基本的な可逆圧縮方法
• 可変長コードの例
• 「1が続けて出てきたら（11が出たら）コードの区
切りとする」
• 11, 011, 1011, 0011, 01011, 10011, …

情報圧縮と確率
●
問：英語で最も使われている文字は何か？

（参考）シーザー暗号は簡単に破られる
●
シーザー暗号（カエサル暗号）：
– 平文を構成する文字を，アルファベットで何文字分
かずらしただけの単純な暗号
●
暗号化と復号化
– 一定のルール（鍵）にのっとり，文を暗号にする
password passwordqbttxpse
平文平文暗号文
暗号化復号化

（参考）シーザー暗号の解き方
●
大量の暗号文があれば，簡単に解読可能！
– 統計の応用
●
方法：
– 元の言語が分かれば，言語特有のクセが利用可能
– 例：英文であれば，文字の出現頻度は決まっている
●
具体的なやり方：
– 暗号文を構成する文字の出現頻度を計測，
– 英文の文字出現頻度に関する統計表と突き合わせ，
– キー（文字をどれだけずらしたか）を推測する

人工知能を理解するための数学
●
現在の「人工知能」※は「数理モデル」である
※ 弱いAI，特化型AIのこと
●
キーワード
– 特徴量（特徴ベクトル）と多次元空間
– パラメータの「学習」… 最適化（最急勾配法）
– 大量データ（ビッグデータ）
– コンピュータ処理能力の格段な向上

機械学習による判別器の生成
y = ax + b

ニューラルネットワーク
x1
x2
x3
x4
x5
w11
w21
w31
w51
yi
= f(∑xi
wji
)
入力層
中間層
出力層
ノード

ニューラルネットの動作イメージ
答えはA
A
B
C
x1
x2
x3
x4
x5
観測されたデータ（特徴量）
x1
= 0.5
x2
= -2.1
x3
= -0.82
x4
= 0.1
x5
= 3.2

ニューラルネットワークの学習
●
教師データ：ある学習データを入力したときの
「こう出力されるべきだ」という正解データ
●
学習：出力と教師データの誤差を減らす
– ある学習データを入力したときの出力と，教師デー
タとの「誤差」に基づき，パラメータを調整する
A = 1.0
B = 0.1
C = -0.1
x1
x2
x3
x4
x5
教師データ
A' = 1.0（正解）
B' = 0.0
C' = 0.0

社会の問題と人工知能（機械学習）
社会問題
・自然科学
・社会科学
・人文科学
人工知能による
問題解決装置
（機械学習）
コーディング
問題解決処理結果
問題を定式化
して特徴量で
記述すること

機械学習を学ぶために必要な数学
●
機械学習ライブラリを使うだけの人
– 特徴量設計に必要な知識 … 変数の独立性など基本
的な代数幾何学
– うまく動作しないときのチューニングに必要な知識
… 動作原理に関する様々な数学的知識
●
機械学習の判別器そのものを作る人
– 統計，線形空間，解析（最適化，偏微分）など

今日お話できなかったこと
●
符号理論や通信路容量など情報理論の基本的か
つ面白い様々な話題
●
計算量理論，計算可能性，アルゴリズムの複雑
さなど，計算に関する理論的な話題
●
計算誤差の取扱い，効率的な計算方法など，コ
ンピュータで計算する際に必要となる話題
●
その他，さまざまな情報学と数学のはなし

The presentation material for my lecture at the open campus, 22nd Sep. 2018

More Related Content

Similar to The presentation material for my lecture at the open campus, 22nd Sep. 2018

More from Jun Iio

Recently uploaded

The presentation material for my lecture at the open campus, 22nd Sep. 2018