本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
•
17 likes•5,694 views
2017/03/17 ヒカラボにて発表した資料 https://atnd.org/events/85720
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
Similar to 本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~ (20)
More from Hisao Soyama
More from Hisao Soyama (11)
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
- 2. ヒカラボ 2017/03/16 2 自己紹介 ● 祖山 寿雄 – @who_you_me ● 株式会社サイカ – Statistics Division ● Data Analysis Engineer ● 社会学修士→ネットワークエンジニア→Webエン ジニア→DBエンジニア→データ分析エンジニア
- 3. 今日の目的
- 6. ヒカラボ 2017/03/16 6 今日話さないこと ● 個別の手法の解説 – 自分で手を動かして学ばないと身につかないです – 自ら学ぶためのアドバイスはします ● 明日すぐに役立つこと – 明日役に立つことは明後日には役に立たなくなって るかもしれません
- 8. ヒカラボ 2017/03/16 8 一般的なイメージ (1/2) ● AI – なんかすごいもの – 人の仕事を奪うもの – いつかはこいつが人類を支配する日が来るらしい ● ディープラーニング – なんかすごいもの – 囲碁で人間に勝った
- 9. ヒカラボ 2017/03/16 9 一般的なイメージ (2/2) ● 機械学習 – よくわからない ● 統計学 – 昔授業でやったけどぜんぜんわからなかったやつ
- 20. ヒカラボ 2017/03/16 20 定義はどこだ (3/5) ● 「データサイエンス」「データエンジニアリン グ」 is 何 ● データサイエンス（力） – 「情報処理、人工知能、統計学などの情報科学系の 知恵を理解し、使う力」 ● データエンジニアリング（力） – 「データサイエンスを意味のある形に使えるように し、実装、運用できるようにする力」
- 23. 機械学習 vs. 統計学 (1/3) ● 結論から言うと「データから価値を引き出す」
- 24. ヒカラボ 2017/03/16 24 機械学習 vs. 統計学 (2/3) ● 機械学習で定評のある入門書『はじめてのパ ターン認識』で取り上げられている手法 ベイズの識別規則 kNN法 線形識別関数 ロジスティック回帰 パーセプトロン サポートベクトルマシン 主成分分析 部分空間法 k-means法 階層型クラスタリング EMアルゴリズム 決定木 ブースティング ランダムフォレスト
- 25. ヒカラボ 2017/03/16 25 機械学習 vs. 統計学 (3/3) ● 明らかに統計学の手法だったり、そこから派生 したものだったりが混じっている ベイズの識別規則 kNN法 線形識別関数 ロジスティック回帰 パーセプトロン サポートベクトルマシン 主成分分析 部分空間法 k-means法 階層型クラスタリング EMアルゴリズム 決定木 ブースティング ランダムフォレスト
- 26. ヒカラボ 2017/03/16 26 機械学習の定義 ● 大量のデータをコンピュータを使って学習し、そ こに潜むパターンを見つけ出すこと – SASのサイトから借用して一部アレンジ ● 見つけ出したパターンを未知のデータに適用し、 予測すること – メールの文章からスパムかどうか判定する – 明日の天気と気温からビールの売上を予測する
- 28. ヒカラボ 2017/03/16 28 機械学習 vs. 統計学 再び ● どちらも「データからパターン・法則を見出 す」という点であんまり変わらない – 木を切るのに斧を使うのか鉈を使うのかぐらいのノ リで、「木を切る」という行為に変わりはない ● 若干のニュアンスの違いはある（後述） – とはいえ「データから価値を引き出す」が目的であ る我々にとっては単なる道具の違いでしかない – 道具を選り好みする奴にろくなのはいない
- 33. 問題です
- 35. 答え
- 38. ヒカラボ 2017/03/16 38 今 (1/2) ● データなら腐るほどある – 人の行動履歴がWebに蓄積されるようになった – オープンデータがいっぱい ● マシンパワーも腐るほどある – ムーアの法則 – GPU – クラウド
- 39. ヒカラボ 2017/03/16 39 今 (2/2) ● 大量データと潤沢な計算資源により、高度な数 学を駆使しなくても「物理で殴れる」 – 総当り（に近いノリ）で試行錯誤が可能に ● ディープラーニングとかまさにそれ ● 情報がいくらでも転がっている – 出版ラッシュ – Webにもいっぱい
- 40. ね、簡単でしょう？
- 41. ここで第二問
- 43. ヒカラボ 2017/03/16 43 生存戦略としてのデータ分析 (1/5) ● 今流行ってるのは機械学習よりのアプローチ ● 機械学習は工学的なアプローチのため、ITエン ジニアとの親和性が高い – 理論、プロセスより結果重視 ● というのもあり、周囲でも優秀なエンジニアが どんどん機械学習を始めている – 優秀なのですぐに成果が上がっている
- 47. ヒカラボ 2017/03/16 47 生存戦略としてのデータ分析 (5/5) ● こんな時代はもう目の前 – 実用上必要なレベルの精度は機械が勝手に出せる – それを越えようとしたらとてつもない専門性が必要 ● データ収集や前処理など、とても大事だが地道 でつらい作業は当分残りそうではある – そういうのが好きな人はそこに振るのはありそう
- 50. - - - ここからポジショントーク - - -
- 52. ヒカラボ 2017/03/16 52 ニュアンスの違い is 何 ● キーワードは既に出ている – 「機械学習は工学的なアプローチ」 – 「理論、プロセスより結果重視」 ● 「結果重視」の結果とは？ – 機械学習の定義をおさらい ● 大量のデータをコンピュータを使って学習し、そこに潜むパ ターンを見つけ出す ● 見つけ出したパターンを未知のデータに適用し、予測する ポジショントーク中
- 53. ヒカラボ 2017/03/16 53 機械学習 ● （主流の）機械学習の目的は「予測」 – 予測が当たれば正義 ● なので、予測精度が上がるためならなんでもやる – ニューラルネットをものすごい多層にしたり – 複数の学習器で多数決したり ポジショントーク中
- 58. ヒカラボ 2017/03/16 58 それって何が違うのか (2/2) ● 予想屋 – 使える情報は全て使って、勝つ馬が予測できればそ れでいい ● 勝つ馬が分かればお金が儲かるから – 税務署がアップを始めました ● 馬主、調教師 – 予測できるだけではあまり意味がない ポジショントーク中
- 60. ヒカラボ 2017/03/16 60 補足：それって機械学習じゃダメ？ ● 機械学習なら予測できるんだから、シミュレー ションして一番いい結果が出る方法を採用すれ ばいいんじゃないの？ ● あまりよくない – 特徴量がすごい多いので総当りできなそう – 「相関」と「因果」は違う – 「雨の日には絶対勝てます！」じゃあ雨降らせろっ てか……？ ポジショントーク中
- 61. - - ポジショントークが加速します - - ポジショントーク中
- 62. ヒカラボ 2017/03/16 62 まとめ (1/5) ● 機械学習の目的は「未来（未知のデータ）を予 測すること」 – 予測さえできればそれがゴール ● 統計学の目的は「データの背後に潜むメカニズ ムを理解すること」 – ある程度の予測精度はもちろん必要 – だが、予測の精度を上げるためには何でもやってい い訳ではない ポジショントーク中
- 64. ヒカラボ 2017/03/16 64 まとめ (3/5) ● 競馬の話に戻ります ● 調教師は目の前にいる馬が「次のレースで負け る」と予測されれば諦めるのか？ – 勝とうともがくよね – 勝つための手段を追求し続けるよね ● 彼／彼女がやりたいのは「未来を変える」こと ポジショントーク中
- 65. ヒカラボ 2017/03/16 65 まとめ (4/5) ● 「未来を予測する」だけではなく「未来を変え る」ことまで求められるフィールドは絶対にある ● 「未来を変える」ためには「人の行動を変える」 必要がある ● 人の行動を変えられるのは人だけ – 「なんだかよく分からないけど当たるからそれに従 え」で人は動くか？ – それって神のお告げと何も変わらない ポジショントーク中
- 66. ヒカラボ 2017/03/16 66 まとめ (5/5) ● なぜ人にしかできないのか – 事象の背後に潜むメカニズムを明らかにして、成功 までのストーリーを提示しないと人は動かない – 今のところ（そしてたぶん今後しばらくは）「背後 のメカニズムを理解する分析」は機械だけではでき ない ● 人や社会の行動に関する深い考察と、それを数式に落とし こむ能力が必要 ポジショントーク中
- 68. - - - ポジショントークここまで - - -
- 71. ヒカラボ 2017/03/16 71 「AI」の得意なこと、苦手なこと (1/3) ● 実活用の分野では、人間の「ちょっぴり知的だ けどほぼ単純作業」はかなりの部分が代替可能 – 名刺の画像からデータ化 – エッチな画像を検出してBAN – ローンの審査 – 自動運転もこの範疇かな
- 82. ヒカラボ 2017/03/16 82 数学は科学の女王にして奴隷 (2/3) ● でも安心を – 統計学／機械学習に入門するための数学はそこまで レベル高くない ● 高校数学＋大学入門レベルの微積・線形代数で 十分 – それすらやりたくない人は諦めましょう
- 83. ヒカラボ 2017/03/16 83 数学は科学の女王にして奴隷 (3/3) ● 高校数学やり直しではこの本が評判いい – 朝倉書店『統計学のための数学入門30講』 ● 大学数学はぶっちゃけ学習参考書が実用的で割 といい – マセマの『大学数学キャンパス・ゼミシリーズ』 – 読んだことないが高校数学もマセマでいいかも
- 84. ヒカラボ 2017/03/16 84 大事な心構え 再び ● 「大事って分かっているが面倒だから実際には なかなかできない」ことを地道にやろう – 真面目に技術書読む時には「写経」するよね – 数学も全く同じ ● 読むだけじゃ理解したつもりになってるだけ – 手を動かそう ● さあ紙とペンを持って
- 86. ヒカラボ 2017/03/16 86 統計学編 (1/2) ● 東大出版会『統計学入門』（通称「赤本」）は やはり外せない…… – 初学者には難しいという声もあるが、確率・確率分 布は早めに入門しておかないと – 線形回帰はいろんな手法の基礎だし ● 東大出版会『自然科学の統計学』（通称「青 本」）も超いい本だが難しい – 一人で読めたら自信を持っていい
- 87. ヒカラボ 2017/03/16 87 統計学編 (2/2) ● これだけだとベイズ論者から馬鹿にされるので ベイズも – 岩波書店『データ解析のための統計モデリング入 門』だと前2冊からうまく接続できる ● 「因果は相関と違う」と言ったが因果を追求す る統計学も実はある – 『岩波データサイエンス vol.3』がすごく分かりやす い
- 89. ヒカラボ 2017/03/16 89 大事な心構え 再び ● 「大事って分かっているが面倒だから実際には なかなかできない」ことを地道にやろう – さあ紙とペンを持って – 数式は全部写して式展開省略してるところは全部自 分で埋めるぐらいの気概は必要 ● 一人でやるとしんどいので、教えてくれる人や一緒に悩ん でくれる人を探すのが結構重要かもしれない
- 92. という訳で