Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
仮説検証に注力し過ぎると失敗の学習ができない!
失敗を成功に近づける
アブダクションの科学
自己紹介
亀田 重幸
ディップ株式会社
次世代事業準備室 dip AI.Lab マネジャー、AINOW編集長
遺伝子組換えStreptomyces属放線菌による有用物質生産の研究
社会人1年目はPHP、Perlのプログラマー
新規事業を学び、新...
AINOWのご紹介
AINOW(エイアイナウ)は、1日のAIニュースを10分で見れる
AIに関する様々な情報が得られるメディア
誰でも1時間でAIサービスが設計できる
「AI Lean Canvas」
AINOWのご紹介
AINOWのご紹介
AINOWのご紹介
AINOWのご紹介
ビジネスとアカデミアが繋がり
AIイノベーションを日本から起こしていきたい
ビジネス現場とAI研究の最前線を繋げる
リーンスタートアップを6年やってきたが
結局、大きな成功/大きな失敗経験が少ないかも
AI開発を経験してみて仮説検証よりも
仮説生成が成功確率に大きく関わっているとわかった
失敗したプロジェクトをご紹介
AIがデータを分析して
効率の良い選択肢を予測
AI開発プロジェクトの概要
DB
予測結果を営業が
アプリで活用
ユーザ向けアプリとAI構築を行う2チームがあり
顧客開発プロセスを考慮して、小さく早くユーザ価値があるかを検証
顧客開発モデルを意識して検証を実施
https://www.slideshare.net/i2key/devlove-devkan
参照: Itsuki Kuroda 「リーンスタートアップと顧客開発とアジャイル開発を一気通貫するッ」@リンスタ...
AI開発プロジェクトの特徴
基本はプロダクト開発と同じだが、分析特有の問題が生じる
AIの精度がイマイチ
データ前処理に
時間とコストが掛かる
分析結果を
説明するのが大変
1. 課題/やりたいことを特定する
2. 業務や人間の勘に基づき仮説をだす
3. 必要な特徴量を定める
4. 試す分析手法を定める
5. データを分析できる形にする(前処理)
6. データサイエンスの視点で特徴量をいじる
7. モデルを構築する...
AI開発プロジェクトの経験を基に失敗を乗り越えて
大きな成果にたどり着ける仮説生成法をご紹介
今回の失敗を振り返ってみた
Keep
KPT
・アプリ開発は顧客開発を行い、価値を1つずつ確認して機能価値は提供できた
・分析も仮説とモデルを現場でヒアリングして設計、手順も王道に忠実だった
・前回の分析では丸投げして失敗、POも分析スキルを身に着けたのは正解だった
KPT
Problem
・3ヶ月分析を続けたが精度が55%程度にしかならなかった
・基礎分析にそこそこ費用を使ったが実際に現場では活用できなかった
・仮説やモデル生成には注意して丁寧に作ったが、そもそもハズレていた
やり方は正しかったのに
時間だけ掛かって成果がでなかった
予測したい事象
仮説① A 仮説① B 仮説① C
データ収集 データ収集 データ価値確認
分析
仮説② 仮説③
データ分析における仮説パターン
予測したい事象
仮説① A 仮説① B 仮説① C
データ収集 データ収集 データ価値確認
分析
仮説② 仮説③
データ分析における仮説パターン
機械学習するアプリなんだから
分析するという仮説選択の一択だった
予測したい事象
仮説① A 仮説① B 仮説① C
データ収集 データ収集 データ価値確認
分析
仮説② 仮説③
仮説パターンの正解
仮説パターンの正解
分析した結果が必要となる仮説はNGだった
仮説2,3の可能性も残っているので時間を掛けすぎた
仮説を何となく決めてしまうと
今、失敗したのかどうかもわからず評価できない
データの予測が目的となってしまい
正しいものを作ることだけをゴールにしてしまった
仮説検証の方法は問題ではない
仮説立案の仕方が1番大事だと改めて認識
仮説生成の知識を得るために読んだ書籍
AI開発やデータ分析の業界では
仮説について議論が盛り上がっていた
仮説立案と検証に必要な3つの論理的思考法
結論 → 理由 → 事象 事象 → 事象 → 結論 現象 → 事象 → 仮説
演繹法 帰納法 アブダクション
(仮説生成)
改めて論理的思考法の振り返り
アブダクション?
よく使う演繹と帰納以外にもあったのか..
例:朝起きると庭の芝生が濡れていた。
雨が降ると芝生は濡れる。
だから昨晩は雨が降ったのだろう。
アブダクションとは?
例:朝起きると庭の芝生が濡れていた。
雨が降ると芝生は濡れる。
だから昨晩は雨が降ったのだろう。
アブダクションとは?
目の前の現象
普遍的事象
仮説
例:朝起きると庭の芝生が濡れていた。
雨が降ると芝生は濡れる。
だから昨晩は雨が降ったのだろう。
目の前の現象
普遍的事象
仮説
アブダクションとは?
芝生が濡れた理由は「昨晩雨が降った」理由以外にも
「誰かが水をまいた」「夜露で濡れた」などの...
アブダクションの歴史
チャールズ・サンダース・パース
記号学では確立者であり哲学者
一方、「プラグマティズム」の提唱者
数理論理学の先駆者とかと呼ばれている。
推論プロセスに思考の重心をおいており
すべての推論には必ず先行する認知に
なんらかの...
アブダクションは造語みたい
演繹
デダクション
(アリストテレス)
帰納
インダクション
(ベーコン)
仮説生成
アブダクション
(パース)
3つの推論の使い分け
3つの推論
演繹
帰納
アブダクション
分析的推論
拡張的推論
科学的にみた推論のプロセス
アブダクションにより
仮説が得られる
演繹法により
仮説を具体的に変換する
帰納法により
仮説を事実から検証する
帰納
推論したい事
繰り返す事で仮説が確証へ
アブダクションを活かした顧客開発を考える
アブダクションをプロセスに入れてみる
参照: Takaaki Umada 「リーンスタートアップにおける良い仮説、悪い仮説
https://www.slideshare.net/takaumada/good-hypothesis-for-lea...
仮説の置き方で学習成果が大きく変わる
参照:
https://static1.squarespace.com/static/52c82eefe4b020108629e6c2/t/58e35f1b3a041
課題と仮説をしっかり設けることで検証成...
MVP Canvasで取り入れる
App Socially高橋さん、リクルート黒田さんのフレームワークにも
仮説は何か
仮説から何を学ぶのか
何を作って
どうやってMVPを検証するのかどんなMVPか
検証に必要な
データ
検証コスト 検証時間 ...
どうやって仮説立案して
仮説検証に気をつければよいのか?
顧客開発に有効な5つの仮説立案と検証テクニック
1. 確証バイアスを疑う事
解決したい問題の現象から、考えられる説明を推測して洗い出す。
違う種類はないか? 不可能な事ではないか?
反証を考える事で仮説の想像性を膨らませる
【アブダクション―仮説と発見の論理】より抜粋
2. 仮説を選ぶ時に気をつけたい4つの基準
仮説を検証することで1番大きな成果が得られるものを整理する
【アブダクション―仮説と発見の論理】より抜粋
1. もっともらしさ(plausibility):最も理にかなった説明を与えるもの。
2. 検...
3. リスクの1番高い仮説から検証する
リーンスタートアップの考え方と全く同じ
4. 3つの推論法によって立案と検証を俯瞰して考える
アブダクションにより
仮説を立案する
演繹法により
仮説検証を行う
帰納法により
検証結果を評価/学習する
顧客の発見
繰り返す事で仮説が確証へ
5. とにかく早く失敗の数を増やす
・失敗しないと仮説の良し悪しがわからない
・早く失敗しないと限られた時間で少数仮説しか検証できない
失敗を成功に近づけるアブダクションのまとめ
仮説選択の時点で検証の運命は決まっている
仮説の選び方1つで検証におけるコストと時間は決められてしまう
1つの仮説にこだわって方法論だけ見直していた場合は無限ループに
仮説A 仮説B 仮説C
データ価値確認
仮説D 仮説E
ちゃんとセーブポイントまで戻れないと
すべてやり直しになってしまう
失敗を恐れるな大きく早く失敗して諦める
人間失敗するのは怖い。PSFやPMFの段階では
失敗することを減らすことよりも、大きくコケて諦めた方がコスパい
い
顧客や課題探索
フェーズ
サービス開発
フェーズ
大きく失敗をして
正しく評価
リスクを...
失敗と仮説生成をもっと研究していきたい
仮説立案はアート的と言われるが、科学的に説明ができるはず
検証の方法だけでなく、立案についてももっと事例をオープンに
仮説立案 仮説検証
アブダクション 演繹法
失敗をするリスクを減らすのではなく
学習に活かすためにもアブダクションが必須!!
1000回の失敗をしたわけではない
1000のステップを経て電球が発明されたのだ
Thank You
失敗を成功に近づけるアブダクションの科学
失敗を成功に近づけるアブダクションの科学
Upcoming SlideShare
Loading in …5
×

失敗を成功に近づけるアブダクションの科学

444 views

Published on

11/12 リンスタ関ヶ原で、失敗の成果を最大限学習するために必要な仮説生成についてお話した内容です。

Published in: Technology
  • Be the first to comment

失敗を成功に近づけるアブダクションの科学

  1. 1. 仮説検証に注力し過ぎると失敗の学習ができない! 失敗を成功に近づける アブダクションの科学
  2. 2. 自己紹介 亀田 重幸 ディップ株式会社 次世代事業準備室 dip AI.Lab マネジャー、AINOW編集長 遺伝子組換えStreptomyces属放線菌による有用物質生産の研究 社会人1年目はPHP、Perlのプログラマー 新規事業を学び、新サービスを出しては失敗しまくる(約30個/年以上…) サーバ/NW/DB構築 インフラエンジニアを3年くらい AIプロダクトのPOやAI人材の採用を担当 iOSアプリの企画立案とPM業務を2年
  3. 3. AINOWのご紹介 AINOW(エイアイナウ)は、1日のAIニュースを10分で見れる AIに関する様々な情報が得られるメディア
  4. 4. 誰でも1時間でAIサービスが設計できる 「AI Lean Canvas」
  5. 5. AINOWのご紹介
  6. 6. AINOWのご紹介
  7. 7. AINOWのご紹介
  8. 8. AINOWのご紹介 ビジネスとアカデミアが繋がり AIイノベーションを日本から起こしていきたい ビジネス現場とAI研究の最前線を繋げる
  9. 9. リーンスタートアップを6年やってきたが 結局、大きな成功/大きな失敗経験が少ないかも
  10. 10. AI開発を経験してみて仮説検証よりも 仮説生成が成功確率に大きく関わっているとわかった
  11. 11. 失敗したプロジェクトをご紹介
  12. 12. AIがデータを分析して 効率の良い選択肢を予測 AI開発プロジェクトの概要 DB 予測結果を営業が アプリで活用 ユーザ向けアプリとAI構築を行う2チームがあり 顧客開発プロセスを考慮して、小さく早くユーザ価値があるかを検証
  13. 13. 顧客開発モデルを意識して検証を実施 https://www.slideshare.net/i2key/devlove-devkan 参照: Itsuki Kuroda 「リーンスタートアップと顧客開発とアジャイル開発を一気通貫するッ」@リンスタ関ヶ原
  14. 14. AI開発プロジェクトの特徴 基本はプロダクト開発と同じだが、分析特有の問題が生じる AIの精度がイマイチ データ前処理に 時間とコストが掛かる 分析結果を 説明するのが大変
  15. 15. 1. 課題/やりたいことを特定する 2. 業務や人間の勘に基づき仮説をだす 3. 必要な特徴量を定める 4. 試す分析手法を定める 5. データを分析できる形にする(前処理) 6. データサイエンスの視点で特徴量をいじる 7. モデルを構築する 8. モデルの精度を確認する 9. モデルや結果を適応する 10. 定期的にメンテナンスを行う 期待する精度が 出なかったら2〜3 に戻る データサイエンス系のプロジェクトステップ例
  16. 16. AI開発プロジェクトの経験を基に失敗を乗り越えて 大きな成果にたどり着ける仮説生成法をご紹介
  17. 17. 今回の失敗を振り返ってみた
  18. 18. Keep KPT ・アプリ開発は顧客開発を行い、価値を1つずつ確認して機能価値は提供できた ・分析も仮説とモデルを現場でヒアリングして設計、手順も王道に忠実だった ・前回の分析では丸投げして失敗、POも分析スキルを身に着けたのは正解だった
  19. 19. KPT Problem ・3ヶ月分析を続けたが精度が55%程度にしかならなかった ・基礎分析にそこそこ費用を使ったが実際に現場では活用できなかった ・仮説やモデル生成には注意して丁寧に作ったが、そもそもハズレていた
  20. 20. やり方は正しかったのに 時間だけ掛かって成果がでなかった
  21. 21. 予測したい事象 仮説① A 仮説① B 仮説① C データ収集 データ収集 データ価値確認 分析 仮説② 仮説③ データ分析における仮説パターン
  22. 22. 予測したい事象 仮説① A 仮説① B 仮説① C データ収集 データ収集 データ価値確認 分析 仮説② 仮説③ データ分析における仮説パターン
  23. 23. 機械学習するアプリなんだから 分析するという仮説選択の一択だった
  24. 24. 予測したい事象 仮説① A 仮説① B 仮説① C データ収集 データ収集 データ価値確認 分析 仮説② 仮説③ 仮説パターンの正解
  25. 25. 仮説パターンの正解 分析した結果が必要となる仮説はNGだった 仮説2,3の可能性も残っているので時間を掛けすぎた
  26. 26. 仮説を何となく決めてしまうと 今、失敗したのかどうかもわからず評価できない
  27. 27. データの予測が目的となってしまい 正しいものを作ることだけをゴールにしてしまった
  28. 28. 仮説検証の方法は問題ではない 仮説立案の仕方が1番大事だと改めて認識
  29. 29. 仮説生成の知識を得るために読んだ書籍
  30. 30. AI開発やデータ分析の業界では 仮説について議論が盛り上がっていた
  31. 31. 仮説立案と検証に必要な3つの論理的思考法
  32. 32. 結論 → 理由 → 事象 事象 → 事象 → 結論 現象 → 事象 → 仮説 演繹法 帰納法 アブダクション (仮説生成) 改めて論理的思考法の振り返り
  33. 33. アブダクション? よく使う演繹と帰納以外にもあったのか..
  34. 34. 例:朝起きると庭の芝生が濡れていた。 雨が降ると芝生は濡れる。 だから昨晩は雨が降ったのだろう。 アブダクションとは?
  35. 35. 例:朝起きると庭の芝生が濡れていた。 雨が降ると芝生は濡れる。 だから昨晩は雨が降ったのだろう。 アブダクションとは? 目の前の現象 普遍的事象 仮説
  36. 36. 例:朝起きると庭の芝生が濡れていた。 雨が降ると芝生は濡れる。 だから昨晩は雨が降ったのだろう。 目の前の現象 普遍的事象 仮説 アブダクションとは? 芝生が濡れた理由は「昨晩雨が降った」理由以外にも 「誰かが水をまいた」「夜露で濡れた」などの事象も考えられる
  37. 37. アブダクションの歴史 チャールズ・サンダース・パース 記号学では確立者であり哲学者 一方、「プラグマティズム」の提唱者 数理論理学の先駆者とかと呼ばれている。 推論プロセスに思考の重心をおいており すべての推論には必ず先行する認知に なんらかの関連性を持っていると確信を 持っていた。
  38. 38. アブダクションは造語みたい 演繹 デダクション (アリストテレス) 帰納 インダクション (ベーコン) 仮説生成 アブダクション (パース)
  39. 39. 3つの推論の使い分け 3つの推論 演繹 帰納 アブダクション 分析的推論 拡張的推論
  40. 40. 科学的にみた推論のプロセス アブダクションにより 仮説が得られる 演繹法により 仮説を具体的に変換する 帰納法により 仮説を事実から検証する 帰納 推論したい事 繰り返す事で仮説が確証へ
  41. 41. アブダクションを活かした顧客開発を考える
  42. 42. アブダクションをプロセスに入れてみる 参照: Takaaki Umada 「リーンスタートアップにおける良い仮説、悪い仮説 https://www.slideshare.net/takaumada/good-hypothesis-for-lean-startup 仮説検証を始める前に仮説立案フェーズを設ける
  43. 43. 仮説の置き方で学習成果が大きく変わる 参照: https://static1.squarespace.com/static/52c82eefe4b020108629e6c2/t/58e35f1b3a041 課題と仮説をしっかり設けることで検証成果が上がる
  44. 44. MVP Canvasで取り入れる App Socially高橋さん、リクルート黒田さんのフレームワークにも 仮説は何か 仮説から何を学ぶのか 何を作って どうやってMVPを検証するのかどんなMVPか 検証に必要な データ 検証コスト 検証時間 生じるリスク 仮説から得られたこと、学び
  45. 45. どうやって仮説立案して 仮説検証に気をつければよいのか?
  46. 46. 顧客開発に有効な5つの仮説立案と検証テクニック
  47. 47. 1. 確証バイアスを疑う事 解決したい問題の現象から、考えられる説明を推測して洗い出す。 違う種類はないか? 不可能な事ではないか? 反証を考える事で仮説の想像性を膨らませる 【アブダクション―仮説と発見の論理】より抜粋
  48. 48. 2. 仮説を選ぶ時に気をつけたい4つの基準 仮説を検証することで1番大きな成果が得られるものを整理する 【アブダクション―仮説と発見の論理】より抜粋 1. もっともらしさ(plausibility):最も理にかなった説明を与えるもの。 2. 検証可能性(verifiability):仮説は実験的に検証可能でなくてはならない。 3. 単純性(simplicity):より単純な仮説を選ばなくてはならない。 4. 経済性(economy):費用や時間が節約できる仮説を選ばなくてはならない。
  49. 49. 3. リスクの1番高い仮説から検証する リーンスタートアップの考え方と全く同じ
  50. 50. 4. 3つの推論法によって立案と検証を俯瞰して考える アブダクションにより 仮説を立案する 演繹法により 仮説検証を行う 帰納法により 検証結果を評価/学習する 顧客の発見 繰り返す事で仮説が確証へ
  51. 51. 5. とにかく早く失敗の数を増やす ・失敗しないと仮説の良し悪しがわからない ・早く失敗しないと限られた時間で少数仮説しか検証できない
  52. 52. 失敗を成功に近づけるアブダクションのまとめ
  53. 53. 仮説選択の時点で検証の運命は決まっている 仮説の選び方1つで検証におけるコストと時間は決められてしまう 1つの仮説にこだわって方法論だけ見直していた場合は無限ループに 仮説A 仮説B 仮説C データ価値確認 仮説D 仮説E
  54. 54. ちゃんとセーブポイントまで戻れないと すべてやり直しになってしまう
  55. 55. 失敗を恐れるな大きく早く失敗して諦める 人間失敗するのは怖い。PSFやPMFの段階では 失敗することを減らすことよりも、大きくコケて諦めた方がコスパい い 顧客や課題探索 フェーズ サービス開発 フェーズ 大きく失敗をして 正しく評価 リスクを小さく 正しく作って検証
  56. 56. 失敗と仮説生成をもっと研究していきたい 仮説立案はアート的と言われるが、科学的に説明ができるはず 検証の方法だけでなく、立案についてももっと事例をオープンに 仮説立案 仮説検証 アブダクション 演繹法
  57. 57. 失敗をするリスクを減らすのではなく 学習に活かすためにもアブダクションが必須!!
  58. 58. 1000回の失敗をしたわけではない 1000のステップを経て電球が発明されたのだ
  59. 59. Thank You

×