学生の時にゼミで使った資料です。 書籍の内容自体には、まだ触れていません。

1. 機械学習導入
第1回 2018/4/20
加筆 2019/04/22

2. 1.はじめまして

3. 1. 統計的学習の基礎
第1回
前期は研究テーマを探しつつ、機械学習の勉強をすることにしました。
メインとして使う参考書は、『統計的学習の基礎』にしました。
(ちなみに巷ではカステラ本と呼ばれているらしいです...)

4. 1. 統計的学習の基礎
第1回
色合いがカステラっぽい...

5. 2.機械学習とは

6. 2.1. 機械学習とは
第1回
■カステラ本でいうところの機械学習とは、、、
⇒ 基本的に統計的学習理論のこと
たぶん、基本的には統計的推測と同じ話だと思います。

7. 【参考】機械学習とは
第1回
cf.機械学習とは？
・ 古典的定義：明示的なプログラミングをせずに、コンピュータに学習能力を持たせる学問。
アーサー・リー・サミュエル（Arthur Lee Samuel)
・ 近代の定義：タスクTを評価する指標Pが、経験Eを学習する度に改善すること。
トム・M・ミッチェル（Tom Michael Mitchell ）
𝑷 𝟏𝑬 𝟏
T タスク
タスクを評価する指標
経験 改善！
𝑷 𝟐𝑬 𝟐
T タスク
タスクを評価する指標
経験 改善！
𝑷 𝑵𝑬 𝑵
T タスク
タスクを評価する指標
経験 改善！
図1.トム・M・ミッチェルの定義
学習1 学習2 学習N

8. 2.2. 機械学習の3つの手法
第1回
・教師あり学習 ← しばらくはこれの勉強します。
・ 教師なし学習
・ 強化学習

9. 2.3. 教師あり学習とは
第1回
教師あり学習とは、ざっくり言って、
「入力を用いて、出力を予測すること。」
𝑋 =
𝑥11 ⋯ 𝑥 𝑝1
⋮ ⋱ ⋮
𝑥1𝑛 ⋯ 𝑥 𝑝𝑛
𝒇 𝑿 ෠𝑌
入力
出力(予測)
𝑋をもとに𝑌を予測する関数 𝑓
これの作り方を一生懸命考える。

10. 3.統計的推測

11. 3.0. モチベーション
第1回
カステラ本に出てくる話は、統計的推測絡みがほとんどだと思います。
なので、この本で勉強する前に統計的推測ってなんだっけ？
というところを復習しておけば、理解しやすくなるんじゃないかと…
ここでは、ざっくりしたところをまとめました。

12. 3.1. 統計学と確率論の違い
第1回
■統計学と確率論の違い
【確率論】
・確率分布が既知で、それらに基づくいろいろな性質を考える。
・実現値に対する興味：ない
【統計学】
・確率分布は未知で、データを基に未知の確率分布について推測する。
・実現値に対する興味：非常に重要

13. 3.2. 統計モデル
第1回
標本*𝑋の確率分布は未知であるが、その候補は考えることができる。
この候補と考えられる確率分布の集まりを、統計モデルという。
※標本：観測値 𝑥 を実現値とする確率変数 𝑋 のこと。
真の確率分布P
こんなのが考えられそう...

14. 3.2. 統計的推測
第1回
観測値(データ)を、ある未知の確率分布に従う確率変数の実現値とする。
この観測値を基に、未知の確率分布に対して、ある種の推測を行うことを統計的推測という。
P 𝜃1
, P 𝜃2
, … , P 𝜃 𝑀
統計モデル
𝑋1, 𝑋2, … , 𝑋 𝑝
標本空間
𝑥1, 𝑥2, … , 𝑥 𝑝
現実世界
データ（実現値）
真の確率分布P
推定した確率分布 ෠𝑃
誤差の評価
確率変数

15. 参考文献
第1回
【1】Trevor Hasitie,Robert Tibshirani,Jerrome Friedman：統計的学習の基礎 (2009)
【2】野田一雄,宮岡悦良：数理統計学の基礎(1992)