1. 言語処理の為の機械学習入門
・・・の前に

2. 概要
• 目的
• 数学記号，数学公式を思い出す
• 最初の一歩でつまずかない
• 内容
• 数学記号
• 公式（指数・対数，微分・積分）
• 偏微分（∇・Δ）
• 行列

3. 記号編

4. ギリシャ文字
慣習的に特定の意味で
良く使われる文字もある
l ：ラグランジュの未定乗数法など
x ：フーリエ変換した関数の変数
a, b, g
s ：標準偏差
c ：カイ2乗分布

5. 固有名詞として使われる記号
• N：自然数全体 = {0, 1, 2, …} （0を含むかは流派による）
• Z：整数全体 = {…, -2, -1, 0, 1, 2, …}
• R：実数全体
• C：複素数全体
• （ Q：有理数全体）
• n Î N => 「nは自然数です」
• x Ï Z => 「xは整数ではありません」

6. 集合に対する記号
• ∈（集合に属する）と ⊂（部分集合である）の違いに注意
• x ∈ A：xは集合Aの元である
• 1 ∈ {1, 2, 3}, {3, 4, 5} ∈ { {1, 2}, {3, 4, 5}, {6, 7} }
• B ⊂ A：BはAの部分集合である
• {1, 2} ⊂ {1, 2, 3}, { {3, 4, 5} } ⊂ { {1, 2}, {3, 4, 5}, {6, 7} }
NÌZÌQÌRÌC
• 集合が等しい場合を含めるかは流派がある
(1) (2) (3)
真部分集合 A⊂B A⊆B A⊆B
部分集合 A⊆B A⊂B A⊆B

7. 集合の記法
• 大雑把に2通りの記法がある
• 1. 元を全て書きくだす
S = {1, 3, 5, 7, 9}
• 2. 元の満たす条件を挙げる
S = {x Î N | x % 2 =1, x £10}
S = {x | x Î N, x is odd and is less than or equal to 10}
• リストの内包表記に対応する
• Haskell：
• Python：

8. 公式編

9. 指数，対数関連公式
• 定義
• a, bを正の実数として a x = b Û x = loga b
• 自然対数の底： e = 2.728
• loge x を log xや と書く事も
ln x
• 公式
• 真数のかけ算 log(x × y) = log x + log y
• 特に， log x n = n log x
• 真数の割り算 log(x / y) = log x - log y
• 指数法則
e(x+y) = e x × e y

10. 微分，積分関連公式
d n
• 多項式の微分 (x n )¢ = (x ) = nx n-1
dx
• 積の微分の公式 ( f × g)¢ = f ¢ × g + f × g¢
• 合成関数の微分 ( f (g(x)))¢ = f ¢(g(x))× g¢(x)
• 公式そのものより使い方を習得してください
• 例： d æd ö æd ö 1 3
(log x 3 )¢ = ç logt ÷ × ç x 3 ÷ = × (3x 2 ) =
dx è dt ø è dx ø t x
↑
t=x3とおいて合成関数の微分
f(t)=log t, g(x)=x3
ò
• 多項式の積分 1 n+1
x n dx = x + C (n ¹ -1) ← n=−1では分母が0になる
n +1
òx -1
dx = log x + C

11. ベクトル解析の記号

12. 多変数を表す記号
• 1個の実数を表す記号は細字，複数の実数の組を表す記号は太字を用い
る事が多い
• 例： x = ( x1, x2 , x3, x4 )
f (x) = x 3
g(x) = x1 + x2 + x3 + x4
h(x) = (x, x 2 + x, x 3 - x)
• 以降もこの記法に従っていきます
• 定義域，値域を明示することでも分かりやすくなります
• 上の例の場合 f :R®R
g : R4 ® R
h : R ® R3

13. 偏微分（定義）
• 多変数関数（変数が2つ以上の関数）で1つ以外のすべての変数を定数
だと思って微分する操作
• 例： f (x, y, z) = x 3 + y 2 + z 5
¶f ¶f
(x, y, z) = fx (x, y, z) = 3x 2 (x, y, z) = f y (x, y, z) = 2y
¶x ¶y
¶f
(x, y, z) = fz (x, y, z) = 5z 4
¶z

14. 偏微分同士の関係
• f が十分滑らか（= x, yについて何回でも微分可能）ならば
fxy (x, y, z) = fyx (x, y, z)
↑ ↑
まずxで微分し まずyで微分し
できた関数をさらにyで微分する できた関数をさらにxで微分する
• これを繰り返し用いると，
fxyzyyxwzxxzy (x, y, z) = fxxxxxyyyyzzzw (x, y, z)
→ 偏微分する順序は好きなように決めてよい

15. ∇（ナブラ）
• 多変数関数の1階偏微分を並べて，ベクトルにする操作
• 例： f (x, y, z) = x 3 + y 2 + z 5
Ñf (x, y, z) = (3x 2 , 2y, 5z 4 ) （行ベクトルの場合）
æ ö
ç 3x 2 ÷
Ñf (x, y, z) = ç 2y ÷ （列ベクトルの場合）
ç ÷
è 5z 4 ø
• 列/行ベクトルどちらで用いるかは文脈/筆者による
• (x, y, z)をまとめて xと書いて，↓のように書く事もある
¶f
(x) = (3x 2 , 2y, 5z 4 )
¶x

16. Δ（ラプラシアン）
• 多変数関数の2階偏微分をすべて足し合わせたもの
¶2 ¶2 ¶2
Df (x, y, z) = 2 f + 2 f + 2 f f : R3 ® Rなら
¶x ¶y ¶z
æ ¶2 Ñf はベクトル
¶2 ¶2 ö
=ç 2 + 2 + 2 ÷ f Df
è ¶x ¶y ¶z ø はスカラー（実数）
= f xx + f yy + fzz .
• 例： f (x, y, z) = x 3 + y 2 + z 5 のとき，
¶2 ¶2 ¶2
f = 6x f =2 f = 20z 3 だから，
¶x 2 ¶y 2 ¶z 2
Df (x, y, z) = 20z 3 + 6x + 2.

17. 行列

18. 行列の表し方
• 数字を長方形上に並べたもの
• 行列は大文字アルファベットで表す事が多い
• 横が行，縦が列（ほとんど統一されている）
• n 行 m 列の行列を n×m 行列と略することも（行が先）
• A = (aij )と書いたら，i 行 j 列目がaij（やっぱり行が先）
列（column）
æ a11 a12  a1m ö
ç ÷ 行（row）
ç a21 a22  a1m ÷
ç ÷
ç     ÷
ç an1 an2  anm ÷
è ø

19. 行列の積
• A：p×q 行列，B：サイズ q×r 行列
• Aの列とBの行が一致しているときABは定義可能
• ABは p×r 行列
• BAは定義できるとは限らない
• 行列の積の成分表示
q×
• A = (aij ), B = (bijとおくと，ABの i 行 j 成分は
) åa ik × bkj
k=1

20. 行列の操作（行列式）
• 行列式 (determinant)： det A =| A |
• 例えば逆行列が存在するかの判定に用いる
• 例： （正方行列にしかdetは定義できないことに注意）
æ a b ö
• A=ç ÷ なら det A = ad - bc
è c d ø
æ ö
ç a b c ÷
• A=ç d e f ÷ なら det A = aei + bfg + cdh - afh - bdi - ceg
ç g h i ÷
è ø
• 行列n×nの行列A, Bに対して
det AB = det A× det B

21. 行列の操作（転置）
• 転置（transpose）： At = AT = t A = T A
• どれも同じ意味，ここでは最初の記号を使います
• 行と列を入れ替える操作
• Aの i 行 j 列目とAの j 行 i 列目は等しい
• 例： æ 1 ö
ç ÷
• A = (1 2 3)のとき， A t = ç 2 ÷
ç 3 ÷
è ø
æ a b ö
ç ÷ æ a c e ö
• A = ç c d ÷ のとき， A t = ç ÷
ç e f ÷ ç b d f ÷
è ø è ø

22. 行列の内積（形だけ）
• 行列のかけ算の例：
• x, y：n×1の列ベクトル, A：n×n行列のとき
x t Ay
はただの実数
• 正定値（今回は説明省略）のn×n行列Aがあると，そこから2つのベク
トルの（Aから決まる）間の内積 < x, y >を（ x × y とも書く）
< x, y >= xt Ay
と定義できる