More Related Content
Similar to 人工知能入門 Kentaro Hanaki
Similar to 人工知能入門 Kentaro Hanaki (17)
Recently uploaded
Recently uploaded (8)
人工知能入門 Kentaro Hanaki
- 1. 人工知能入門 Silicon Valley x 日本 / Tech x Business Meetup 花木 健太郎
- 2. お伝えしたいこと
- 4. 自己紹介
- 5. 自分のことなど 名前：花木 健太郎 職業：機械学習／自然言語処理エンジニア@Google 趣味：美術鑑賞（絵画・彫刻）、料理、Twitter@CalNLP アメリカ歴：大学院博士課程以降、10年くらい
- 6. 料理
- 8. 人工知能
- 9. 人工知能の例
- 10. 人工知能の例
- 11. 人工知能の例
- 13. 今回扱う問題 テキスト分類問題
- 14. スパムフィルター
- 15. 文書のカテゴリ分け # スポーツ？ # 経済？ # 政治？ # 芸能？
- 18. ルールに基づいた分類
- 20. ルールに基づいた分類の例 1. Goodという単語があれば +1 2. Badという単語があれば -1 3. Awesomeという単語があれば +2 4. Horribleという単語があれば -3 5. Excellentという単語があれば +3 6. Notという単語とGoodという単語があれば -2 与えられたテキストを肯 定的か否定的かに 分 類する
- 21. ルールに基づいた分類の例 1. Goodという単語があれば +1 2. Badという単語があれば -1 3. Awesomeという単語があれば +2 4. Horribleという単語があれば -3 5. Excellentという単語があれば +3 6. Notという単語とGoodという単語があれば -2 This movie is truly awesome! → +2 → 肯定的 This movie was really horrible… → -3 →否定的 I initially thought this is bad, but it turned out to be awesome. → -1 + 2 = +1 → 肯定的 与えられたテキストを肯 定的か否定的かに 分 類する
- 22. ルールに基づいた人工知能の有名な例 ● チェスで世界チャンピオンに勝 利した初めての人工知能（IBM のDeep Blue）はほぼルール ベース ● 可能な手をしらみつぶしに当た り、人間が作ったルール（約 8000個）に基づいて各手を評価 する
- 23. ルールに基づいた人工知能の有名な例 ● チェスで世界チャンピオンに勝 利した初めての人工知能（IBM のDeep Blue）はほぼルール ベース ● 可能な手をしらみつぶしに当た り、人間が作ったルール（約 8000個）に基づいて各手を評価 する （ものすごく）頑張れば“知能”っぽく見える！
- 24. ルールベースの人工知能のまとめ ● 最初の人工知能で、人工知能の基本中の基本 ● 人間がルールをたくさん作って、スコアを足し上げる ● ルールがたくさん集まれば知能っぽく見える
- 25. ルールベースの人工知能のまとめ ● 最初の人工知能で、人工知能の基本中の基本 ● 人間がルールをたくさん作って、スコアを足し上げる ● ルールがたくさん集まれば知能っぽく見える 質問？
- 26. ルールに基づいた分類の問題点
- 29. ルールに基づいた分類の問題点 1. 人間がルールを決めなければならない 2. 人間がスコアを決めなければならない スコアやルール、 本当に人間が決める 必要があるの？ データ使って決めよう！！！
- 30. まずはスコアを何とかする
- 40. スコア決定の自動化方法その２ 1. Goodという単語があれば -1 2. Badという単語があれば -2 3. Awesomeという単語があれば 0 4. Horribleという単語があれば -2 5. Excellentという単語があれば +2 間違えたら、それを修正する 方向にスコアを２だけ修正する （パーセプトロン）
- 41. スコア決定の自動化方法その２ 1. Goodという単語があれば -1 2. Badという単語があれば -2 3. Awesomeという単語があれば 0 4. Horribleという単語があれば -2 5. Excellentという単語があれば +2 This is a good movie 予測は否定的 実際は肯定的 スコア修正 間違えたら、それを修正する 方向にスコアを２だけ修正する （パーセプトロン）
- 42. スコア決定の自動化方法その２ 1. Goodという単語があれば +1 2. Badという単語があれば -2 3. Awesomeという単語があれば 0 4. Horribleという単語があれば -2 5. Excellentという単語があれば +2 This is a good movie 予測は否定的 実際は肯定的 スコア修正 間違えたら、それを修正する 方向にスコアを２だけ修正する （パーセプトロン）
- 43. スコア決定の自動化方法その２ 1. Goodという単語があれば +1 2. Badという単語があれば -2 3. Awesomeという単語があれば 0 4. Horribleという単語があれば -2 5. Excellentという単語があれば +2 This movie is truly excellent! 予測は肯定的 実際は肯定的 何もしない 間違えたら、それを修正する 方向にスコアを２だけ修正する （パーセプトロン）
- 44. スコア決定の自動化方法その２ 1. Goodという単語があれば +1 2. Badという単語があれば -2 3. Awesomeという単語があれば 0 4. Horribleという単語があれば -2 5. Excellentという単語があれば +2 Initially bad, awesome at the end 予測は否定的 実際は肯定的 スコア修正 間違えたら、それを修正する 方向にスコアを２だけ修正する （パーセプトロン）
- 45. スコア決定の自動化方法その２ 1. Goodという単語があれば +1 2. Badという単語があれば 0 3. Awesomeという単語があれば +2 4. Horribleという単語があれば -2 5. Excellentという単語があれば +2 Initially bad, awesome at the end 予測は否定的 実際は肯定的 スコア修正 間違えたら、それを修正する 方向にスコアを２だけ修正する （パーセプトロン）
- 52. ルール抽出の自動化方法 1. Goodという単語が存在 +1 2. Notという単語が存在 0 3. Veryという単語が存在 0
- 53. ルール抽出の自動化方法 1. Goodという単語が存在 +1 2. Notという単語が存在 0 3. Veryという単語が存在 0 4. Notという単語とgoodという単語が存在 -1 5. Veryという単語とgoodという単語が存在 +2 6. Notという単語とveryという単語が存在 0 二つのルールの 組み合わせ
- 54. ルール抽出の自動化方法 1. Goodという単語が存在 +1 2. Notという単語が存在 0 3. Veryという単語が存在 0 4. Notという単語とgoodという単語が存在 -1 5. Veryという単語とgoodという単語が存在 +2 6. Notという単語とveryという単語が存在 0 7. Notという単語とveryという単語とgoodという単語が存在 -2 8. … 三つのルールの 組み合わせ
- 55. ルール抽出の自動化方法 1. Goodという単語が存在 +1 2. Notという単語が存在 0 3. Veryという単語が存在 0 4. Notという単語とgoodという単語が存在 -1 5. Veryという単語とgoodという単語が存在 +2 6. Notという単語とveryという単語が存在 0 7. Notという単語とveryという単語とgoodという単語が存在 -2 8. … ルールを組み合わせればいくらでも新しいルールができる！ 三つのルールの 組み合わせ
- 56. ルール抽出の自動化方法、問題点１ 基本ルールが10000個ある場合（言語処理の問題では普通） ● 二つのルールの組み合わせ〜100000000個 ● 三つのルールの組み合わせ〜1000000000000個 ● 四つのルールの組み合わせ〜10000000000000000個 ルールを組み合わせると爆発的にルールの数が増える…
- 57. 問題点１、解決法 ルールの数は莫大でも… 1. ほとんどのルールにスコアは不要（not & veryなど） 2. よく似たルールはスコア共有可能（類義語など） つまり独立な必要スコアの数はそんなに多くない。なので… 1. 組み合わせルールのスコアを少数の独立なスコアで表す 2. 最適化を行い、どれが不要か、どれが共有可能か決める （ニューラルネットを含む多くのアルゴリズムの違いはこのスコアの表し方の違い）
- 58. ルール抽出の自動化方法、問題点２ 複雑なルールしか学習しなくなる 例）“This movie is truly awesome”という肯定的な文章 ● “Awesome”が肯定的というのを学習せず、 ● “This”、“movie”、“is”、“truly”、“awesome”が全て ある と肯定的というのを学習 この場合、単語が抜けると（This movie is awesomeなど）正しく 分類できなくなる（過学習）
- 59. 問題点２、解決法 1. 独立なスコアの数を少なめにとる 2. 学習時にインプットの情報を落とす This movie is truly awesome
- 60. 問題点２、解決法 1. 独立なスコアの数を少なめにとる 2. 学習時にインプットの情報を落とす This is truly awesome
- 61. 問題点２、解決法 1. 独立なスコアの数を少なめにとる 2. 学習時にインプットの情報を落とす This movie is awesome
- 62. 問題点２、解決法 1. 独立なスコアの数を少なめにとる 2. 学習時にインプットの情報を落とす This movie truly awesome
- 63. 問題点２、解決法 1. 独立なスコアの数を少なめにとる 2. 学習時にインプットの情報を落とす This movie is truly
- 64. 問題点２、解決法 1. 独立なスコアの数を少なめにとる 2. 学習時にインプットの情報を落とす This movie is truly awesome 複雑なルールで学習するのは危険なので過 学習を回避するよう学習する！
- 65. ルール抽出自動化方法まとめ ● 基本的なルールを組み合わせる ● それらのスコアを少ないパラメーターで表現する ● 過学習しないように適当に情報を落とす
- 66. ルール抽出自動化方法まとめ ● 基本的なルールを組み合わせる ● それらのスコアを少ないパラメーターで表現する ● 過学習しないように適当に情報を落とす 質問？
- 67. 最近の言語処理応用例
- 69. 人工知能が全部やる例
- 70. 対話型アシスタント
- 72. 対話型アシスタント
- 75. （単純な）対話システムの構造 発話 言語理解 言語生成 バックエンド データベース SFから空港までど れくらい？ 意図：所要時間確認 スロット： 出発地：SF 目的地：空港 Google Mapなど 知識の照会 今の交通状況だと 30分です
- 76. （単純な）対話システムの構造 発話 言語理解 言語生成 バックエンド データベース SFから空港までど れくらい？ 意図：所要時間確認 スロット： 出発地：SF 目的地：空港 Google Mapなど 知識の照会 今の交通状況だと 30分です ここは難しいが、API.AI などで意外と気軽にで きる！
- 77. 人間が間に入る例
- 78. 情報検索における人間のサポート ● みずほ銀行×IBMワトソンの案件 ● コールセンター業務にて顧客の質問 に応じ、分類器が関係する情報を提 示 ● その情報が適切であれば、オペ レーターが読んで回答する 人間が判断できるので、安全＆完璧でなくて良い！
- 79. 今後面白いと思うこと
- 81. データがあまり無い場合？？
- 82. ● 解きたい問題に対して適切なラベル付きデータが簡単に手に 入るとは限らない ● データに手動でラベルを付けるのは安価ではない ● なので、少ないデータで学習できるととても有用 ● 一般に人工知能の学習には数百〜数千のデータが必要…
- 90. モデルレベルでの転移学習 機械翻訳をするには文章の意味の理解が不可欠 機械翻訳を学習させたモデルを他のタスクに使う 普通の学習と比べ、精 度が格段に上昇！ (McCann et al. 2017)
- 92. まとめ
- 93. まとめ 1. 人工知能はルール→自動化の流れ 2. 人工知能に全部やらせる応用と、人手を介する応用 3. これからはスモールデータの学習が面白いかも？
- 94. ご静聴ありがとうございました