Download to read offline
20151013nodered whatson
- 1.
- 2. 背景 • 人工知能が挑戦している試験の例 • 東大入試 •センター試験 • 医師国家試験 → 人工知能の発展は、コンピュータの得意分野や限界を明らかにし、 人間がより人間らしい仕事にフォーカスすることに貢献 • TOEICとは • 英語能力を測るリスニング、リーディングのテスト • 受験のメリット • 大学入試や国家試験の英語科目免除、優遇 • 大学での単位認定 • 就職、転職、昇進でのアピール など • 世界の受験者数: 700万人/年 • 日本の平均点: 584点(990満点) 参考: 21robot.org, www.keio.ac.jp/ja/press_release/2015/osa3qr0000013aey.html, www.toeic.or.jp 正答率60%を目標とし、 人工知能Whatsonを開発
- 3. 検索対象文字列 leaning against leaning between leaningafter leaning after 人工知能Whatson 文法問題を解くウェブアプリケーション • 選択肢が入る空欄前後の単語を手かがりとし、 膨大な書籍のテキスト上で、最も使われる単語の並びを解答とする。 • 書籍800万冊分、圧縮形式で9TBのN-gramデータを加工して使用 • 品詞問題、コロケーション問題が得意 使用データ: TOEIC Bridge公式ガイド&問題集(公式問題を基にに問題例を作成、Google Books Ngram: storage.googleapis.com/books/ngrams/books/datasetsv2.html (3)N-gramデータを検索し、 使用頻度をグラフ化 問題文: The ladder is leaning ---- the wall. 選択肢: (A) between (B) after (C) about (D) against (1)空欄と前後の 1～3単語を切り出す (2)各選択肢 を追加 検索対象文字列 leaning against leaning between leaning after leaning after 切り出した文字列 is leaning ---- is leaning ---- the is leaning ---- is leaning ---- the is leaning ---- the wall 検索対象文字列 leaning between leaning after leaning about leaning against 図1 解答導出手順 (2) 解答
- 4. 開発方法 • N-gramデータの格納に分析向けデータベースdashDBを活用 • 試行錯誤を効率的に行えるNode-REDを用いて開発(開発時間は4時間) ユーザインターフェイス (入力フォーム、グラフ表示のHTMLを出力) 図2Node-REDで開発したノード 統合スコア取得API (各要素スコアを取得し、正規化) 要素スコア取得API (各切り出しパターン毎にdashDBを検索)
- 5. 動作画面 品詞問題 コロケーション問題 give mea me a give me against the leaning against the against the wall I a between the after the about the
- 6. 評価結果と考察 • TOEIC公式問題集の120問で評価し、正答率65～88%を達成 • 最近の問題は品詞問題、コロケーション問題が少ないため、正答率低 #問題集 問題 正答率 1 公式問題集 Vol 4 TEST 1 Part5 88% (35/40) 2 公式問題集 Vol 5 TEST 1 Part5 70% (28/40) 3 公式問題集 Vol 6 TEST 1 Part5 65% (26/40) 改善アイデア • ノイズとなる副詞、固有名詞を除去し処理 • 選択肢から問題パターンを判定し、パターンに特化したアルゴリズムを使用 • 要素スコアの重みを機械学習により導出 • 頻出語彙(both A and B等)とマッチング • 自然言語処理OSS(Apache OpenNLP等)が持つ品詞判定機能のスコアを活用
- 7. 今後やりたいこと Watsonの力を借りて、リスニング問題に挑戦！ • 写真描写問題(Part1)の戦略 • 写真に写っていない名詞を含む選択肢は、解答にならない。 →画像認識と音声認識の結果を、同義語も含め比較 同義語辞書WordNet:wordnet.princeton.edu 発音辞書The CMU Pronouncing Dictionary: www.speech.cs.cmu.edu/cgi-bin/cmudict ※実装イメージ ※実装イメージ • 会話問題(Part2)の戦略 • 質問文と似た発音を含む選択肢は解答にならない。(例:copyと coffee) →Watson音声認識結果の単語を発音記号に変換し、類似度計算
- 8. 問題文”This is ----a pen.”の空欄には、 選択肢are, is, be, beingのどれが入るのが適切かを 人工知能Whatsonに解答させる。 デモ１ (品詞問題に挑戦) URL: toeic.mybluemix.net/whatson
- 9. デモ２ (同じアルゴリズムを用いて、質問応答に挑戦) 質問文“Which isJapanese food?”の解答として、 選択肢Sushi、Curry、Chocolate、Pizzaのどれが適切かを 人工知能Whatsonに解答させる。 入力 出力
Editor's Notes
- #2 今回「Node-REDで実装した人工知能ワッツオンがTOEICに挑戦」 という内容で発表いたします。 ワッツオンはWatsonサービスではありませんので、ご注意ください。 (16秒)
- #3 まず背景について説明いたします。 人工知能が挑戦している試験の例としましては、 東大入試、センター試験、医師国家試験などがあります。 人工知能の発展は、人間の仕事を奪うのではないかという意見もありますが、 個人的にはコンピュータの得意分野や限界を明らかにし、 人間がより人間らしい仕事にフォーカスすることに貢献すると考えています。 今回対象としたTOEICとは、ご存じのように英語能力を測る リスニング、リーディングのテストです。 受験のメリットとしましては、社会人ですと国家試験の英語科目の免除優遇でしたり、転職、昇進でのアピールなどがあります。 世界の受験者数は、年間700万人とかなりの人数が受験している試験です。 日本の平均点は、584点となっています。 990満点てすので、平均点である60%を超えれば、 賢い人工知能と言えるのではないかと考え、 正答率60%を目標とし開発を行いました。 (72秒)
- #4 次に人工知能ワッツオンについて説明いたします。 ワッツオンは、文法問題を解くウェブアプリケーションとして実装されています。 仕組みはとてもシンブルでして、選択肢が入る空欄前後の単語を手かがりとして、 書籍のテキスト上で、最も使われている単語の並びを解答とします。 内部では、Googleが公開している書籍800万冊分、圧縮形式で9TBもあるデータを加工して使っています。 空欄前後の単語を見ますので品詞問題や、 自然な単語の並びを問うコロケーション問題が得意です。 下の図が処理の流れです。 The ladder is leaning空欄the wallという問題文の空欄に、 選択肢between、after、about、againstのどれが入るかという問題を例として用いて説明いたします。 TOEICに慣れている人でしたら、頻出のleaning againstという語彙の知識で解く問題です。 ワッツオンは、まず問題文の空欄前後の1～3単語から成る文字列を切り出します。 その後、各文字列に対して選択肢を追加します。 最後に、選択肢を追加した文字列を用いてN-gramのデータを検索し、 検索で得た文字列の使用頻度を正規化して積み上げグラフとして出力します。 (96秒)
- #5 次に開発方法について説明いたします。 まず、N-gramのデータの格納には、dashDBを活用しました。 また、Node-REDを用いて試行錯誤を繰り返す開発を効率よく行いました。 データは既に持っていましたので、4時間程で開発できました。。 下がNode-REDで開発したノードです。 まず左上がユーザインターフェースでして、入力フォームやグラフ表示のためのHTMLを記述しています。 右下の要素スコアAPIは、問題文と選択肢から検索に用いる文字列を生成し、dashDBして検索を行い、使用頻度を返すAPIです。 このノードは、切り出す文字列の場所毎に用意しており、7つ存在しています。 右の統合スコア取得APIは、これらの要素スコアAPIをまとめて問い合わせ、正規化したスコアを返すAPIです。 ユーザインターフェイスのノードは、この統合スコア取得APIに問い合わせて、グラフを作成しています。 (ちなみに、要素スコア取得APIのノードで用いているwhile文は ブログを参考にして作成しました。) (93秒)
- #6 こちらが動作画面です、 左は私が作成した品詞問題でして、give空欄a chocolateという問題文の空欄に、 選択肢のI、my、mine、meのどれか入るという問題です。 もちろん解答はDのgive me a chocolateです。 下は、計算結果の積み上げグラフでして、Dが解答であると判定しています。 Dのスコアの内訳は、赤色が空欄前の1単語の組み合わせであるgive me、 青色は空欄の後ろ1単語を組み合わせたme a、 緑色は空欄前後の1単語を組み合わせたgive me aのスコアです。 AにはI aが少しありますが、圧倒的にDの使用頻度が高くなっています。 右がコロケーション問題の例です。 同じく青色は空欄の後ろ1単語を組み合わせたagainst the、 緑色は空欄を跨いだ3単語の並びであるleaning against the、 紫色は空欄の後ろ側2単語と組み合わせたagainst the wallです。 青色に注目しますと、空欄の後ろ1単語を見ただけでは、 against theは他の選択肢よりスコアが低くなっていますが、 参照する文字列の範囲を広げることで、 againstが最も自然な単語の並びであることを認識しています。 (100秒)
- #7 次に結果と考察です。 TOEICの本番の試験と全く同じ問題が掲載されている 公式問題集の問題120問を用いて評価を行いました。 その結果、正答率65～88%と目標を超える点数であることが分かりました。 下のVol6の問題集が、最新の問題ですので、 最近の問題は品詞問題やコロケーション問題の割合が少ないため、 正答率が低いことが分かりました。 さらなる改善アイデアとしては、こちらの様な方法を考えています。 面白いところですと、機械学習を用いて最新問題の傾向に、要素スコアの重みをチューニングする方法です。ユーザが最新の問題を入力すると、自動的に賢くなっていくので、仕組みとしてカッコよいかなと考えています。 (59秒) (時間があれば下記) 処理のノイズとなる副詞、固有名詞を除去して処理する方法、 選択肢のみから問題のパターンを判定し、そのパターンに特化したアルゴリズムを適用する方法 今回要素スコアの重みは、平等に扱ったのですが最新の問題の傾向に合わせるために、重みを機械学習により導き出す方法 TOEIC頻出の語彙とマッチングする方法 最後に、既存の自然言語処理のソフトウェアがありますで、そのソフトウェアが出すスコアを活用する方法です。
- #8 最後に今後やりたいことして、 ワトソンの力を借りてリスニング問題に挑戦したいと考えています。 実装イメージをNode-REDを使って書いてみました。 Part1の写真描写問題は、写真を見て適切な解答の音声を選択する問題です。 本問題は、写真に写っていない名詞を含む選択肢は解答にならないという 有名な法則があります。 この法則を活用しまして、Watsonの画像認識と音声認識の結果を同義語も含めて比較することで、解答が導き出せるのではないかと考えています。 Part2の会話問題は1人目が話した内容に対する適切な応答を選択する問題です。 本問題は、最初の発言と似た発音を含む選択肢は、解答にならないという法則があります。 例えば、コピー機の話をしているのに、コーヒーを含む選択肢が登場する、引っかけ問題が存在します。 この問題に対しては、Watsonの音声認識で得た単語を発音記号に変換し、 文字列の類似度を計算することで答えが導き出せると考えています。 以上です。ご清聴ありがとうございました。 (85秒)