1. 機械学習チュートリアル
株式会社Preferred Infrastructure
海野 裕也 (@unnonouno)
2013/06/02
Jubatus Casual Talks #1

2. ⾃自⼰己紹介
l 海野 裕也 (@unnonouno)
l プリファードインフラストラクチャー
l 情報検索索、レコメンド
l 機械学習・データ解析研究開発
l Jubatus
l 分散オンライン機械学習フレームワーク
l 専⾨門
l ⾃自然⾔言語処理理
l テキストマイニング
2

3. Googleトレンドの、このグラフは何でしょう？
3
2011年年 2013年年

4. Googleトレンドの、このグラフは何でしょう？
4
ビッグデータ

5. ⼀一⽅方の分析技術系キーワードは・・・
データは貯めるけど分析できない・・・？？？
5

6. ところで、機械学習は・・・
6

7. 概要
本チュートリアルではデータを解析して判断に活かすため
の技術、機械学習を説明します
l 機械学習ってどこで使われてるの？
l 機械学習が得意・不不得意な条件って？
l 機械学習って裏裏で何してるの？
7

8. 注意
l 初めて機械学習を聞いた⼈人向けです
l 数式を使いません
l 分散の話はしません
l ｶﾞﾁな⼈人は寝てて下さい
8

9. 機械学習って何？
9

10. 機械学習とは
l 経験（データ）によって賢くなるアルゴリズムの研究
l データから知識識・ルールを⾃自動獲得する
l データの適切切な表現⽅方法も獲得する
l ⼈人⼯工知能の中で、⼈人が知識識やルールを
明⽰示的に与える⽅方法の限界から⽣生まれてきた
10
学習データ
分類モデル

11. 例例１：スパム判定
l メールがスパムが否かを⾃自動判定する
l GoogleのGmailでもスパム判定は機械学習が使われてい
る
11
スパム
通常
新着メール

12. 例例２：商品推薦
l 過去の購買履履歴から類似ユーザーを探して、未購⼊入の商
品を推薦する
12
購買履履歴

13. 例例３：コンピュータ将棋・囲碁・チェス
13
http://blog.livedoor.jp/yss_fpga/archives/53897129.html
詳細は鶴岡慶雅先生のチュートリアル 「自然言語処理とAI」
l ゲームごとに機械学習の応⽤用⼿手法が次々に進歩
l 機械の性能改善以上に⼿手法の改善が⽬目覚ましい
強い
弱い

14. 様々な分野に適⽤用可能
l データから有⽤用な規則、ルール、知識識、判断基準を抽出
l データがあるところならば、どこでも使える
l 様々な分野の問題に利利⽤用可能
14
レコメンデー
ションクラス
タリング
分類、識識別 市場予測 評判分析
情報抽出 ⽂文字認識識 ロボット 画像解析
遺伝⼦子分析
検索索ランキン
グ
⾦金金融 医療療診断
適用分野

15. ⼈人に⽐比べて機械学習のここがいい！
l ⼤大量量
l ⼤大量量に処理理できる
l 機械を並べればいくらでもスケールする
l ⾼高速
l ⼈人間の反応速度度を超えることができる
l ⾼高精度度
l 場合によっては⼈人間を凌凌駕するようになってきた
l ⼈人と違って判断がブレない、疲れない
15

16. 機械学習を活かすポイント
量量と速度度が圧倒的なポイント
l 量量
l ⼤大量量のデータが有って⼈人⼿手で処理理できない
l 情報源が多様すぎて⼈人間では⼿手に負えない
l 速度度
l ⼈人間よりも圧倒的に⾼高速に反応できる
l 反応速度度が重要な領領域で価値が出る
16
いずれも⼀一般的に機械が
⼈人間より優っているポイント

17. 機械学習が失敗するパターン
l できない精度度を求める
l サイコロの次の⽬目を当てることはできない
l 同じように、精度度の限界がある
l ⼈人にとって簡単なタスクをやろうとする
l 少ない情報から推論論するのは⼈人間が得意
l 逆に⼤大量量の情報から判断する必要がある時は機械が得意
l ボトルネックが別にある
l アクションを取るのが⼈人だったり、⼈人が途中に介在する
l 量量と速度度のメリットをいかに活かすか
17

18. 「機械にやらせるなら、ルールを書けばいいんじゃ
ないの？」
l 俗にルールベースと呼ばれる⽅方法
l 最初は精度度が悪いが頑張れば意外とどこまでも良良くなる
18
「ゴルフ」 à スポーツ
「インテル」 à コンピュータ
「選挙」 à 政治

19. ルールに基づく判断の限界
l ⼈人⼿手で書いたルールはすぐ複雑、膨⼤大になる
l 1万⾏行行のperlスクリプト
l どこを変えたらいいかわからない
l 条件を追加したら何が起こるか・・・
l 複雑化したルールは引き継げなくなる
19
「ゴルフ」and「VW」 à ⾞車車
「インテル」and「⻑⾧長友」 à サッカー
「選挙」and「AKB」 à 芸能

20. ルールの管理理よりもデータの管理理を！
l ルールは必ず管理理できなくなる
l 膨⼤大なルール
l 妥当性がわからない
l この条件なんだっけ・・・？
l ⼤大事なのはデータ！
l データの正しさは⼈人間に判断できる
l 間違えたら間違えたデータを教えれば良良い
l ルールは適⽤用できなくなるが、データは変わらない
l 「スイカ」が「⻄西⽠瓜」から「Suica」になる⽇日・・・
20

21. データ管理理の発想はテスト駆動開発に近い？
l まずテストを⽤用意せよ、それを満たすルールを学習せよ
l リファクタリング（ルールの書き換え）をしたくなって
もデータがあれば安⼼心
21
⼊入⼒力力データ
期待される
結果
テスト⼊入⼒力力
期待される
結果
ルール
プログラム

22. まとめ：機械学習 vs ⼈人間 vs ルール
l 機械学習は速度度、量量、精度度、メンテナンス性のバランス
がとれている
l ⼈人間に⽐比べて・・
l 量量と速度度に優る
l 疲れない、ぶれない、スケールする
l ルールに⽐比べて
l 精度度に優る
l メンテナンスできる、引き継げる、データの変化に強い
22

23. 機械学習って何してるの？
23

24. 機械学習の世界の分類
l 問題設定に基づく分類
l 教師有学習 / 教師無学習 / 半教師有学習 / 強化学習 など ..
l 戦うドメインの違い
l 特徴設計屋（各ドメイン毎に, NLP, Image, Bio, Music）
l 学習アルゴリズム屋（SVM, xx Bayes, CW, …)
l 理理論論屋（統計的学習理理論論、経験過程、Regret最⼩小化）
l 最適化実装屋
l 好みの違い
l Bayesian / Frequentist / Connectionist
l [Non-|Semi-]Parametric
24
この⼆二つの問題設定だけは
知っておいてほしいので説明

25. 教師有り学習
l ⼊入⼒力力 x に対して期待される出⼒力力 y を教える
l 分析時には未知の x に対応する y を予測する
l 分類
l y がカテゴリの場合
l スパム判定、記事分類、属性推定、etc.
l 回帰
l y が実数値の場合
l 電⼒力力消費予測、年年収予測、株価予測、etc.
25
x y

26. 教師無し学習
l ⼊入⼒力力 x をたくさん与えると、⼊入⼒力力情報⾃自体の性質に関し
て何かしらの結果を返す
l クラスタリング
l 与えられたデータをまとめあげる
l 異異常検知
l ⼊入⼒力力データが異異常かどうかを判定する
26
x

27. 安易易に教師なし学習に⾶飛びつかない！
l どのような分類基準になるか予測できない
l 結果の意味を解釈するのが難しい
27
問：下の図形を2つのクラスタに分けなさい

28. 教師有り学習と教師無し学習は⽬目的が違う
教師有り学習
l ⼊入出⼒力力の対応関係を学んで、
未知の⼊入⼒力力に対して判断する
l ⼊入⼒力力と出⼒力力を教える必要があ
る
l ⼀一番シンプルな問題設定で汎
⽤用性が⾼高い
教師無し学習
l データ集合⾃自体の特徴を学習
する
l データをとにかく⼊入れれば、
すぐ動く
l 制御が難しく実⽤用上は⼤大変
l 教師あり学習の前処理理として
も使われる
28
こっちだけ詳しく説明します

29. 教師あり学習には推定と学習のフェーズが有る
推定するとき 学習するとき
29
短髪
Tシャツ
チノパン
予想：男性
⻑⾧長髪
Tシャツ
チノパン
学習データ
男性
次は当てよう
推定対象

30. 線形分類器の推定は重み付き多数決のイメージ
l ⼊入⼒力力データの特徴に応じて票を⼊入れていく
l 最多得票のカテゴリーに分類する
30
特徴 男性 ⼥女女性
⻑⾧長髪 +3
短髪 +2
Tシャツ +1
ブラウス +2
ジーンズ +2
スカート +5
チノパン +3
短髪
Tシャツ
チノパン
予想：男性
推定対象
内部に表がある

31. 学習のステップ 1/3
l どれが重要かわからないので、全ての重みを更更新する
l 結果的に、このデータは正しく予想できるようになる
31
特徴 男性 ⼥女女性
⻑⾧長髪 0 à +1
短髪
Tシャツ 0 à +1
ブラウス
ジーンズ
スカート
チノパン 0 à +1
⻑⾧長髪
Tシャツ
チノパン
学習データ
男性
初期値は全部0

32. 学習のステップ 2/4
l 間違えるたびに正しく分類できるように更更新
32
特徴 男性 ⼥女女性
⻑⾧長髪 +1 à 0
短髪
Tシャツ +1
ブラウス 0 à +1
ジーンズ
スカート 0 à +1
チノパン +1
⻑⾧長髪
ブラウス
スカート
学習データ
⼥女女性

33. 学習のステップ 3/4
l 何度度も更更新する
33
特徴 男性 ⼥女女性
⻑⾧長髪 0 à +1
短髪
Tシャツ +1 à 0
ブラウス +1
ジーンズ
スカート +1 à +2
チノパン +1
⻑⾧長髪
Tシャツ
スカート
学習データ
⼥女女性

34. 学習のステップ 4/4
l 最終的にうまく分類できるところで落落ち着く
l 縦が数万〜～数百万になり、⼈人が全部調整するのは不不可能
34
特徴 男性 ⼥女女性
⻑⾧長髪 +3
短髪 +2
Tシャツ +1
ブラウス +2
ジーンズ +2
スカート +5
チノパン +3
できた！

35. 機械学習を更更に発展させる
l より効率率率よく更更新する
l オンライン学習
l アンサンブル学習
l より⼤大規模なデータを利利⽤用する
l 分散して学習
l 半教師有り学習
l より複雑な特徴を利利⽤用する
l 深層学習
l カーネル法
35
Jubatusは、特にオンライ
ン学習と分散処理理に注⼒力力

36. まとめ：機械学習の仕組み
l ⼀一⼝口に機械学習といっても⾊色々
l ⼊入出⼒力力、設定、⽬目標、好き嫌い、様々
l 教師ありなし
l あり：⼊入出⼒力力関係を学習する
l なし：データの性質を学習する
l 線形分類器は重み付き多数決
36

37. 機械学習の本領領が発揮されるのはこれから・・・
l 機械やモノ同⼠士が情報のやり取りを⾏行行う世界観がどんど
ん提唱されている
l データに基づく意思決定ではなく、データに基づいて機
械がアクションを起こす必要がある
37

38. l NTT SIC*とPreferred Infrastructureによる共同開発
l 2011年年10⽉月よりOSSで公開 http://jubat.us/
Jubatus
38
リアルタイム
ストリーム 分散並列列 深い解析
* NTT研究所 サイバーコミュニケーション研究所
ソフトウェアイノベーションセンタ

39. 「緩いモデル共有」による分散の仕組み
l みんな個別に⾃自学⾃自習
l たまに勉強会で情報交換
l ⼀一⼈人で勉強するより効率率率がいいはず！
39
学習器
オンライン学習
分散処理理

40. Jubatusの分散学習の仕組みはまた今度度！
40

41. ご清聴ありがとうございました
41