機械学習ゴリゴリ派のための数学とPython
•
62 likes•20,904 views
2017/7/1 db analytics showcase Sapporoで講演したときの資料です。 フルスクラッチから機械学習アルゴリズムの実装をしたい人向けです。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (10)
Similar to 機械学習ゴリゴリ派のための数学とPython
Similar to 機械学習ゴリゴリ派のための数学とPython (20)
More from Kimikazu Kato
More from Kimikazu Kato (19)
Recently uploaded
Recently uploaded (15)
機械学習ゴリゴリ派のための数学とPython
- 1. 機械学習ゴリゴリ派のための数学とPython data analytics showcase Sapporo 2017/7/1 シルバーエッグ・テクノロジー（株） 加藤公一
- 2. 1 今日の話 • 自己紹介・会社紹介 • 技術的な話（ゴリゴリ派向け） – 機械学習アルゴリズム実装のためのスキルについて – 数値計算の知識、Pythonの知識 • まとめ
- 4. 3 会社紹介 ≪書籍≫ 『One to Oneマーケティングを超えた 戦略的Webパーソナライゼーション』 (出版社：日経BP社 発売：2002年5月） 弊社代表トーマス・フォーリーの著書です。 ≪受賞歴・メディア掲載≫ 社名 ： 設立 ： 代表者 ： 資本金 ： 事業内容： 所在地 ： シルバーエッグ・テクノロジー株式会社 1998年8月 代表取締役兼CEO トーマス・フォーリー 242百万円 （2016年10月26日現在） 人工知能技術をベースとした、 リアルタイムレコメンドサービスおよび ターゲティング型広告サービスの提供。 【大阪本社】 〒564-0063 大阪府吹田市江坂町1-23-43 ファサード江坂ビル10F 【東京オフィス】 〒102-0072 東京都千代田区飯田橋2-6-6 ヒューリック飯田橋ビル5F スマートターゲティング技術で、リアルタイムレコメンドサービス『アイジェント・レコメンダー』、 ダイナミック広告サービス『HotView』を提供しています。 2016年9月 東京証券取引所マザーズ市場上場
- 6. 5 ユーザーのセッション毎に レコメンドする商品を計算すること ① ユーザーの「今、その時の」関心をすぐにレコメンドに反映することが出来る ② 新着商品に対して新着当日からレコメンドを表示することが出来る ③ 新着当日から、レコメンド枠に新着商品を表示することが出来る ④ 例えば、TVに取り上げられ注目が集まっている「今」を反映することが出来る リアルタイム ＝ リアルタイム性
- 8. 7 事例 詳しく 弊社ホームページ（ http://siilveregg.co.jp ）から「ケーススタディ」参照
- 9. 8 製品の特徴 • コミッション制（レコメンド経由売上比例） • リアルタイムなデータ反映（オンライン学習） – 新発売の商品の即時反映
- 10. 9 メカニズム お客様サイト 「誰が何を買ったか」 「誰が何を見ているか」 AIgentサーバ 「何を推薦すべきか」 特徴： • リアルタイム レスポンス • アドオンとして実装（導入コストでメリット） Aigentに接続するため コードスニペット(JavaScript) + 蓄積して分析 リアルタイム処理 ASPサービス 在庫情報 バッチ更新
- 11. 10 アルゴリズムについて • ヒット率（precision/recall）大事 • オンライン学習であることを重視 • サーバ運用コストも大事 • それらのトレードオフ
- 12. 11 私の仕事 • 論文等に書かれた新しいアルゴリズムは片っ端か ら試す • 計算時間がどのくらい？運用のコストは？という ことを含めて総合的に判断しての「よい」アルゴ リズムを選定 • 個別顧客へのチューニングではなく、全体へのチ ューニング
- 13. 12 機械学習の影響で… • 数学を勉強する大人が増えている • 数学的な本が人気 – 高校数学や線形代数のやりなおしのための本 – 数学的原理から書いた機械学習実装本 • 空前の数学ブーム？ • しかし「数学の教科書」だけの知識では機械学習 アルゴリズムの実装は難しい
- 14. 数学 知識 ≠ 数値計算 知識
- 17. 16 ベンチマーク
- 18. 17 例：微分の計算 とき x=1で 極限を計算してみる >>> f = lambda x: x**2 >>> df = lambda x,h: (f(x+h) - f(x)) / h >>> df(1, 0.001) 2.0009999999996975 >>> df(1, 1e-10) 2.000000165480742 >>> df(1, 1e-15) 2.220446049250313 >>> df(1, 1e-20) 0.0 !
- 19. 18 なぜこうなるか？ 差 小さい数 引き算 有効な桁数が失われる 1.000000012 1.000000001-) 0.000000011 有効桁数10ケタ いわゆる「桁落ち」現象 結果 3ケタしか有効でない 例：
- 20. 19 解決策 数値微分 しない！（関数 式がわかってるなら） 関数 式 わかってるけど複雑な で微分がめんどくさい場合 ？ → シンボリックな計算ツール（例え Sympy）を使う
- 22. 21 どうするか？ 問題点： 最終的な計算結果 小さい値でも、計算 途中で大きすぎる 数になり、コンピュータ 無限大とみなしてしまう 数学的同値変形： xが大きいとき こ 方がよい と定義しなおす
- 23. 22 数値計算での注意点 • 計算機での内部表現には必ず誤差があり、誤差の 影響が無視できないケースがある – 差が小さい数の引き算は特に注意 – 回数の多いループの中での誤差の積み上げに注意 • 最終的な計算結果は小さくても、計算途中で巨大 な数になる場合に注意 • 計算手法によって、速度や安定性が違う – 問題に摂動を与えたときの解の振る舞いに注意
- 24. 23 つまり… 「機械学習に興味を持った で、 まず 数学から勉強し直したいです」 「す らしい！ぜひやってください！」 「線形代数まで勉強した で、これで っちり 実装できます ？」 「ちょっと待って。数値計算 基本を抑えて おいた方がいいかもです。」
- 25. 24 Pythonの計算速度 • 機械学習の世界ではPythonがよく使われている • 速くて便利なライブラリが充実しているのがその 理由 • でも、自分でアルゴリズムを実装すると遅いんじ ゃないの？
- 26. 25 やってはいけない s = 0 for i in range(1, 100000001): s += i print(s) 1から1億まで 和を計算する これ Python的な書き方で ない
- 27. 26 ちょっとましな実装 s = sum(range(1, 100000001)) print(s) 1から1億を返すイテレータを用意し、そ 和を計算する
- 28. 27 一番速い実装 import numpy as np a = np.arange(1, 100000001, dtype=np.int64) print(a.sum()) 1から1億が入った配列を用意し、そ 和を計算する
- 29. 28 ベンチマーク s = 0 for i in range(1, 100000001): s += i print(s) s = sum(range(1, 100000001)) print(s) 30.21秒 12.33秒 0.38秒 import numpy as np a = np.arange(1, 100000001, dtype=np.int64) print(a.sum())
- 30. 29 ベンチマーク s = 0 for i in range(1, 100000001): s += i print(s) s = sum(range(1, 100000001)) print(s) 30.21秒 12.33秒 0.38秒 import numpy as np a = np.arange(1, 100000001, dtype=np.int64) print(a.sum())
- 33. 32 計算例2：Numpyの機能を利用 とき を利用すると Numpy ブロードキャスト機能： R = np.dot(B * a, C)
- 34. 33 まとめ • 数学の知識は大事 • 数値計算の知識も大事 – 数学ができれば学習コストは低い • Pythonの気持ちになってコードを書こう