Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第2回ナレッジグラフ推論チャレンジ2019の紹介(11/22, SWO研究会)

240 views

Published on

人工知能学会合同研究会2019
第49回セマンティックウェブとオントロジー研究会(SIG-SWO)
「第2回ナレッジグラフ推論チャレンジ2019の紹介」

Published in: Technology
  • Be the first to comment

  • Be the first to like this

第2回ナレッジグラフ推論チャレンジ2019の紹介(11/22, SWO研究会)

  1. 1. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回ナレッジグラフ推論チャレンジ2019 の紹介 1 人工知能学会合同研究会2019 第49回セマンティックウェブとオントロジー研究会 (SIG-SWO) 2019/11/22(金)
  2. 2. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 講演概要 ナレッジグラフ推論チャレンジ ➢開催趣旨・概要 ➢ナレッジグラフの構築 第1回ナレッジグラフ推論チャレンジ2018の振り返り ➢提案されたアプローチ ➢評価 第2回ナレッジグラフ推論チャレンジ2019 ➢第2回での変更点 ➢ツール部門の想定応募例 2
  3. 3. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 推論チャレンジとは? シャーロック・ホームズのような “推理”(推論)ができるAIシステムの開発 を目指した技術コンテスト 3 「ホームズ」 の小説 「知識グラフ」としてデータ化 3 捜査 手法 動機 DB …. さまざまな「知識」を用いて犯人を推理し その理由を説明するAIシステムの開発 犯人はXX! なぜなら… 動機は… トリックは…
  4. 4. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第1回:開催スケジュール 2017/02/26 推論チャレンジ(仮称)の構想開始 in 第41回SWO研究会@志賀島 2017/11/25 第1回公開WS:推論チャレンジ(仮称)開催予告 in 第43回SWO研究会@人工知能学会合同研究会2017 2017/12/19 第2回公開WS:スキーマ検討会 2018/02/28 第3回公開WS:スキーマ設計会 2018/03/18 第4回公開WS:ナレッジグラフの構築テスト in 第44回SWO研究会@五島市(合宿)併設ワークショップ 2018/04/23 第5回公開WS:「推論チャレンジ」ワークショップ 2018/06/05 ナレッジグラフ公開・チャレンジ開始 2018/08/07 応募に向けた技術勉強会 2018/10/18:応募に向けた技術勉強会(2回目) 2018/10/30: チャレンジ応募締切(11/11まで延長) 2018/11/25: 発表会&授賞式 in 第45回SWO研究会@淡路島(JIST2018併設イベント) 4 構想9カ月 開催準備 6カ月
  5. 5. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回:開催スケジュール 2019年6月4日 応募開始 ➢ 人工知能学会全国大会(JSAI2019)@新潟にて, 第1回開催報告&第2回応募開始の宣言 ➢ 対象とするナレッジグラフについては,調整中のものを仮公開. 2019年8月末 改良版のナレッジグラフを公開 2019年8月27日 技術勉強会 ➢ ナレッジグラフ・LODの基礎技術から,推論チャレンジのナレッジグラ フを扱う技術例まで,ハンズオンを交えた解説. 2019年9月13日 応募相談会 2019年10月21日 技術勉強会&応募相談会 2019年10月27日 ナレッジグラフのアップデート 2019年11月末 応募締切 2019年12月26日 最終選考会&授賞式@秋葉原 5 第2回では 技術勉強会 に注力 まだ,応募できます!
  6. 6. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 タスク(課題)の概要 ➢推理小説の内容をもとに,事件の背景,起こった出 来事,人物像などを知識化したナレッジグラフ(LOD) を用いて,“犯人を推理する” ➢ただし,“その理由をきちんと説明できる”こと! 対象とする推理小説(第1回) ➢「シャーロック・ホームズ」短編シリーズから人気No.1 の「まだらのひも」をナレッジグラフ(LOD)化 6 どのような“推理・推論・説明”に, どのような“知識・技術”が,どの程度必要か? を考察するテストケースと位置づけられる. 課題の概要
  7. 7. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 推理(推論)の例 ジュリアの死に不審な点があると,ヘレンから相 談を受ける ↓ ←犯人は現場にいた人【外部知識】 「ジュリアが死んだ日」に現場の屋敷にいた人物 の一覧を取得する ジュリアが結婚すると,ロイロット博士に入るお金 が減る ↓ ←お金は殺人の動機になりうる【外部知識】 ロイロット博士がジュリアを殺す動機になる 7
  8. 8. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 チャレンジの狙い 説明可能性(解釈可能性)を有するAI技術に関 する最新技術の促進・共有と,その分析・評価, 体系化を行う. (将来的には,)現実社会を反映したより複雑な, 例えば時間的,因果関係的,確率的関係性を 含む問題を扱うため,帰納的な機械学習(推定) と演繹的な知識活用(推論)を融合したAI技術を 対象とする. 8
  9. 9. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 なぜ,推理小説が対象? 現実社会の複雑な関係性を含みながら,仮想的に クローズな(答えがあり,それに至る制約を制御できる) タスクを設計できる タスクによっては不確実情報や証拠写真など確率的な 処理や機械学習を入れないと解けなかったり,陽に書 かれていない常識知識を補完しなくては解けない等, 推定と推論の融合を促せる 読者が納得しないと小説として成立しないという人間 に対する説明性を有している, 小説が広く一般に知られており関心を引きやすい 但し,第4回チャレンジ以降は社会問題解決に関する ベストプラクティス集なども予定 9
  10. 10. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 推理小説のナレッジグラフの構築
  11. 11. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフ化の考え方 ナレッジグラフの要求仕様 ➢犯人を推論(推理)するのに必要な知識を提供する ➢「推理小説」で描かれる様々な状況を,できるだけ統一的 な形式で計算機処理(検索・推論・etc.)可能にする ナレッジグラフ化の基本方針 ➢「推理小説」の内容を,最小単位の「場面(シーン)」に分割 →場面ごとにID(IRI)を付与 ➢「各場面の記述内容」および「場面間の関係」をグラフ化 →グラフ化に必要なクラス・プロパティを定義 場面1 場面2 場面3 場面4 場面5 ・・・ ・・・ 11
  12. 12. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 場面(シーン)スキーマ 場面ID 原文 主語 述語 目的語 subject hasPredicate source その他 他の場面 場面間 場面を表現するプロパティ ➢ subject:その場面の記述において主語となる人や物 ➢ hasPredicate:その場面の内容を表す述語 ➢ 場面の詳細を表す目的語:whom(だれに), where(どこで), when(いつ), what(何を), how(どのように), …etc. ➢ 場面間の関係:then,if, because, …etc. ➢ time:その場面が起こった絶対時間(xsd:DateTime) ➢ source:その場面の原文(英語/日本語のリテラル) 主語 目的語 述語 の形でないことに注意 →場面に関わる複数の 情報をまとめるため 場面ID中心に記述 12
  13. 13. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 原文(英語/日本語) 絶対時間※小説内に基準日 時を設定している 主語・述語・目的語は全て 「リソース」として定義 →他の場面で同じ目的語を 参照可能 述語 主語 他の場面 場面の種類(クラス)分け Scene:上位クラス -Situation:事実・状況の描写 -Statement:Aの発言 -Talk:AのBへの発言 -Thought:Aの考え 13 場面(シーン)スキーマ 記述例
  14. 14. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係 シーン間の関係を表す プロパティ 14
  15. 15. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 シーン間の関係の種類 シーン間の関係を表す プロパティ 15
  16. 16. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 性質・状態(hasProperty)の例 kgc:Propertyタイプ 16 「性質」を表す 任意のリソースを 導入する
  17. 17. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 クラス,プロパティ一覧 17
  18. 18. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 推理小説のナレッジグラフ SWO研究会・勉強会での予備的作業を経て,有志数名でナレッジグラフ化 18 ナレッジグラフ(RDF形式) クエリー言語SPARQLによる検索 グラフDB(キーワード検索も可) http://knowledge-graph.jp/visualization/ サンプルクエリ https://github.com/KnowledgeGraphJapan/KGRC- RDF/blob/master/2019/SPARQLsample.md
  19. 19. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第1回ナレッジグラフ推論チャレンジ2018振り返り ~ まだらのひも The Adventure of the Speckled Band ~
  20. 20. 第1回チャレンジ概要 対象小説 まだらのひも (Speckled Band) ※シャーロキアン人気No.1 応募件数 8作品(本部門:5,アイデア部門:3) 本部門 (実装を伴う) ➢ 【最優秀賞】 野村総合研究所 【優秀賞】 上小田中411(富士通研究所) 【ベストリソース賞】 FLL-ML(富士通研究所,神戸常盤大学,神戸市立西神戸医療センター) ➢ teamOIF (立命館大学) ➢ 塚越雄登 (電気通信大学) アイデア部門 (アイデアのみ.実装を伴わない) ➢ 【ベストアイデア賞】 白松研 feat. 59(名古屋工業大学) ➢ 生島高裕 (数理先端技術研究所) ➢ 橋本一成,他 (富士ゼロックス) 個々の詳細は公式サイト http://challenge.knowledge-graph.jp 参照 20
  21. 21. 超簡単なあらすじ紹介 (1/2) 依頼人ヘレンがホームズのところにやってくる ➢ ヘレンは最近,婚約した ➢ ヘレンはいま義父のロイロットと二人で暮らしている ➢ ロイロットは気性が荒く,近所でトラブルを起こしている ➢ ロイロットはインド帰りでヒヒやヒョウを飼っている ➢ ロイロットはロマと仲がよく,敷地を使わせている ➢ ロイロットが実母の遺産を管理している 2年前にはヘレンの姉ジュリアが変死していた ➢ ジュリアは婚約したばかりだった ➢ ジュリアはロイロットの隣の自室で死んだ ➢ 死ぬ前に「Speckled(まだらの)Band(楽隊?ひも?)」と言った 21
  22. 22. 超簡単なあらすじ紹介 (2/2) ホームズがロイロットの屋敷を訪れ,ヘレンの部屋で不寝番をする ➢ ホームズは不審な物音を聞き,ムチで打ち付ける ➢ 隣のロイロットの部屋から悲鳴が聞こえる ホームズがロイロットの部屋に入る ➢ ロイロットの首に「まだらのひも(ヘビ)」が巻き付いていた ➢ ロイロットはインドから取り寄せたヘビも飼っていた ➢ インドのヘビの毒はイギリスではよく知られていなかった ➢ ロイロットはヘビを飼いならしてジュリアを殺した(遺産分与を防ぐため) ➢ ロイロットは同様にヘレンを殺そうとしたが,ホームズに阻まれた ➢ ホームズに打ち据えられたヘビは,怒って飼い主ロイロットに噛み付いた 22
  23. 23. まだらのひものナレッジグラフ SWO研究会・勉強会での予備的作業を経て,有志数名でナレッジグラフ化 23 ナレッジグラフ(RDF形式) クエリー言語SPARQLによる検索 グラフDB(キーワード検索も可) http://knowledge-graph.jp/visualization/
  24. 24. 8つの提案アプローチ 本部門 (実装を伴う) 【最優秀賞】 野村総合研究所 ✓ 述語論理式を用いて定式化し,制約充足問題として解を導出 ➢ 【優秀賞】 上小田中411(富士通研究所) ➢ 【ベストリソース賞】 FLL-ML(富士通研究所,神戸常盤大学,神戸市立西神戸医療センター) ➢ teamOIF (立命館大学) ☆学生 ✓ オントロジー構築とSPARQL検索 ➢ 塚越雄登 (電気通信大学) ☆学生 ✓ ルール推論とSPARQL検索 アイデア部門 (アイデアのみ.実装を伴わない) 【ベストアイデア賞】 白松研 feat. 59(名古屋工業大学) ☆学生 ✓ マルチエージェントによる議論モデル ➢ 生島高裕 (数理先端技術研究所) ✓ 自然言語処理 ➢ 橋本一成,他 (富士ゼロックス) ✓ イベントおよび推理に係る汎用的なオントロジーの構築 個々の詳細は公式サイト http://challenge.knowledge-graph.jp/2018 参照 24
  25. 25. 【ベストアイデア賞】 名工大 (1/2) 25https://challenge.knowledge-graph.jp/ submissions/2018/shiramatsu/siramatsu_presentation.pdf
  26. 26. 【ベストアイデア賞】 名工大 (2/2) 26https://challenge.knowledge-graph.jp/ submissions/2018/shiramatsu/siramatsu_presentation.pdf
  27. 27. 27https://www.slideshare.net/SeijiOkajima/2018fllml 【ベストリソース賞】 富士通研究所,他 (1/2)
  28. 28. 28https://www.slideshare.net/SeijiOkajima/2018fllml 【ベストリソース賞】 富士通研究所,他 (2/2)
  29. 29. 29https://www.slideshare.net/TakanoriUgai/2019- 166978082 【優秀賞】 富士通研究所 (1/3) 計3つの観点で推論(動機,機会,方法)
  30. 30. 30https://www.slideshare.net/TakanoriUgai/2019- 166978082 【優秀賞】 富士通研究所 (2/3)
  31. 31. 31https://www.slideshare.net/TakanoriUgai/2019- 166978082 【優秀賞】 富士通研究所 (3/3)
  32. 32. 【最優秀賞】 野村総合研究所 (1/4) 32https://challenge.knowledge-graph.jp/ submissions/2018/tamura/tamura_presentation.pdf
  33. 33. 33https://challenge.knowledge-graph.jp/ submissions/2018/tamura/tamura_presentation.pdf 【最優秀賞】 野村総合研究所 (2/4)
  34. 34. 34https://challenge.knowledge-graph.jp/ submissions/2018/tamura/tamura_presentation.pdf 【最優秀賞】 野村総合研究所 (3/4)
  35. 35. 35https://challenge.knowledge-graph.jp/ submissions/2018/tamura/tamura_presentation.pdf Alloyによる充足可能性の計算 【最優秀賞】 野村総合研究所 (4/4)
  36. 36. 評価方針 説明性を有する推論・推定技術を評価するためには,適切な指標設計が必要 ➢ 正解を導けていることに加えて,説明性,実用性,新規性,処理時間など,複数の 指標を設計し,各アプローチのメリットやデメリットを客観的に評価,分類,体系化 一方で,定量的評価に加えて,評価者側と応募者側との議論(ピアレビュー)を 通じた定性的な比較や評価,問題意識の共有も必要 DARPA XAIでは,現在の機械学習技術においては精度と説明性にトレードオフ があることを明言しており,両者を測定するとしている. 更に,説明性は心理学的にアプローチされており,説明の効果測定ではその明 快さや有用性に関するユーザーの満足度をレーティングする これらを参考に,第1回チャレンジでは,基本情報を共有した後,専門家評価, 一般評価の組み合わせで評価を実施した 36
  37. 37. 基本情報の共有 主催者側で以下の基本情報を調査し,事前に審査員である専門家と共有 (今回,審査員はSWO研究会の幹事を中心に7名に委託) ➢ 正解が出せているかどうか? 方法の如何にはよらないが,推論・推定した犯人は正しいか? ここで犯人とは,小説の中で犯人されている人物とする. ➢ プログラムが実行できるか? 提出されたプログラムが正しく動作し,結果が再現できたか? (アイデア部門を除く) 但し,全ての動作の再現を保証するわけではない. ➢ プログラムのパフォーマンス プログラムの動作環境,動作速度に関する何らかの情報 ➢ 使用した知識・データ量 提供したナレッジグラフの内,ID 何番までを使用したか? 外部知識・データを活用している場合は,その情報. 37
  38. 38. 専門家による評価 専門家評価では,以下の項目について審査員が5段階評価 推論・推定方法 ➢ 技術性(Significance) 推論・推定方法の技術的工夫. ➢ 汎用性(Applicability) 他の問題にも適用できる手法であるか? 目安としては, 3:他の推理小説にも適用可能 5:他のドメインにも適用可能) ➢ 発展性(Expansibility) 今後の技術的な発展が期待できるか? 例えば,現状の問題点を解決すると改善が見込める,など 38
  39. 39. 専門家による評価 知識・データ ➢ 知識・データ構築の工夫 知識/学習データを構築にかけた工夫(量×質×プロセス).例えば,外部知識・ データをどれだけ用意したや,外部知識・データの作り方の工夫など ➢ 知識・データ活用の工夫 提供されたナレッジグラフや自身で構築した知識を効果的に利用しているか? 少量の外部知識でスマートに解いたや,大量の知識で少ステップで解いた,など その他 ➢ 実現可能性(アイデア部門のみ) 技術,知識・データ構築/活用の双方を含めたアイデアの実現可能性. ➢ 論理的説明性 論理的な説明が成立しているか? 1:説明や根拠の提示が全くない. 3:根拠となるエビデンスが何らかの形で提示されている. 5:必要十分な推論(推定)過程において,一貫性を持った説明がなされている. ➢ 努力性 作品(知識/データ/システム)作成にかけた労力 ➢ 総合的なコメント(自由記述) 39
  40. 40. 一般審査 専門家が論理的に説明が通るかどうかを判断したのに対し,一般審査では 時間的な制約から説明の心理的な側面(納得性)に絞って評価を実施 各応募者が本部門15分,アイデア部門10分で応募作品の説明を行い, 参加者45名が以下の2点についてアンケートに回答 ➢ 総合評価 アイデアの面白さ,プレゼンの良さなども含めた総合的な評価. ➢ 説明性 「あなたが裁判員(陪審員)だったとして,その説明に納得にできますか?」 総合評価を設けたのは,プレゼンの上手さや面白さなど説明性以外の評価 を総合評価に回してもらうため 説明性のみの評価では,それら別の観点の評価も混じってしまうと考え, あえて他の観点を含む項目を設けた. 40
  41. 41. 評価結果 41 専門家審査の結果(平均) 一般審査の結果 > > > > = >
  42. 42. 評価結果 一般審査の結果は,総合評価と説明性の平均値,中央値,標準偏差を比較 1位と2位を比較では, ➢ 平均値では総合評価と説明性いずれも1位が2位を上回っているが, ➢ 中央値では総合評価は上回っているが説明性では同値となり, ➢ 標準偏差では総合評価と説明性いずれも1位のほうが大きかった. t 検定(p = 0.05)では,総合評価では有意差が得られたが説明性では得られなかった 専門家評価で1位と2位を比較すると, ➢ 各指標の平均では1位が2位を上回っているが, ➢ 説明性の観点では結果が逆転した(t 検定による有意差も認められた) 尚,いずれの指標でも標準偏差(全作品平均)は<1.0,大きな意見の相違はなかった ➢ ばらつきが最も少なかったのが論理的説明性であり, ➢ ばらつきが最も大きかったのは努力性であった... 結果として,1位と2位の順位付けは専門家審査員による議論に任せられたが, 説明性以外ではいずれも1位は2位と同値または上回っていたことから本結果とした 同時に,本チャレンジの一番の課題である説明込みでの評価については課題を残した その他に各専門家のコメント等を踏まえてベストリソース賞とアイデア賞を授与 42
  43. 43. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回ナレッジグラフ推論チャレンジ2019 ~第1回からの変更点など~
  44. 44. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回推論チャレンジ -第1回からの変更点- ナレッジグラフの構築方法の改良 ➢構築作業の効率化による対象KGの拡大 対象とする小説の追加 ➢昨年度作成分1+追加4編 = 計5編に ✓複数の小説を対象にすることで,よる広範囲 な課題に取り組めるように! 「ツール部門」の新設 ➢タスクを部分的に解く小規模なツールの開発でも応募 可能に 44
  45. 45. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフの構築方法の改良 ナレッジグラフ(KG)の構築方針 ➢基本的に,第1回と同じスキーマを用いて構築する. ➢第1回の開催時に参加から得たフィードバックは適宜反映. →scene間の関係を表す語彙の検討,など ➢複数KG間での語彙統一など,スキーマの改良) 構築作業の効率化の工夫 ➢一部の構築作業をアルバイト雇用により実施 →将来的には,クラウドソーシングによる効率化を検討 ➢部分的に,(半)自動処理を導入 →将来的には,KG構築タスクのチャレンジ化を検討 ➢最終的なKGは,上記の処理を経たものをベースにして, 運営メンバーで分担して構築 45
  46. 46. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回推論チャレンジ -第1回からの変更点- ナレッジグラフの構築方法の改良 ➢構築作業の効率化による対象KGの拡大 対象とする小説の追加 ➢昨年度作成分1+追加4編 = 計5編に ✓複数の小説を対象にすることで,よる広範囲 な課題に取り組めるように! 「ツール部門」の新設 ➢タスクを部分的に解く小規模なツールの開発でも応募 可能に 46
  47. 47. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 対象とする推理小説・タスク 対象とする推理小説 まだらのひも(第1回のKGの不具合を修正して利用) ➢タスク:ヘレンを殺したのは誰か?(犯人+説明) に加え,新たに,以下の4編をKG化 踊る人形 [Wikipedia][青空文庫] ➢タスク:暗号を解け(暗号の解読) 背中の曲がった男(曲がれる者)[Wikipedia][青空文庫] ➢タスク:バークリはなぜ死んだのか?(説明) 悪魔の足 [Wikipedia][青空文庫] ➢タスク:各人物を殺したのは誰か?(犯人+説明) 花婿失踪事件(同一事件) [Wikipedia][青空文庫] ➢タスク:花婿はなぜ消えたか?(説明) 47
  48. 48. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回でのスキーマの拡充 対象とする小説が5つに増えたことで,異なる小説を 横断した処理ができるようにスキーマを拡充 各小説ごとに「ベースIRI」および「グラフIRI」を導入 ➢<http://kgc.knowledge-graph.jp/data/小説名/> ➢例:「踊る人形」のシーン100は <http://kgc.knowledge-graph.jp/data/DancingMen/100> 小説をまたいで共通化した語彙 ➢hasPredicateで参照する「述語」,および, hasProperyで参照する「性質・状態」 →<http://kgc.knowledge-graph.jp/data/predicate/XXX> ➢固有名詞(例:ホームズ,地名) →<http://kgc.knowledge-graph.jp/data/YYY> は,小説をまたいで,共通のIRIで定義・参照 48
  49. 49. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 ナレッジグラフの公開 ナレッジグラフの公開場所 ➢「推論チャレンジ」のサイト →ナレッジグラフの公開 https://github.com/KnowledgeGraphJapan/KGRC-RDF 公開形式 ➢小説ごとのRDFファイル(Tutle形式)のダウングレード ※他の形式は準備中.... ➢SPARQLエンドポイント http://lod.hozo.jp/repositories/kgc2019 ➢可視化ツール http://knowledge-graph.jp/visualization/ 49
  50. 50. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 第2回推論チャレンジ -第1回からの変更点- ナレッジグラフの構築方法の改良 ➢構築作業の効率化による対象KGの拡大 対象とする小説の追加 ➢昨年度作成分1+追加4編 = 計5編に ✓複数の小説を対象にすることで,よる広範囲 な課題に取り組めるように! 「ツール部門」の新設 ➢タスクを部分的に解く小規模なツールの開発でも応募 可能に 50
  51. 51. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー(SWO)研究会 タスクの実行条件・応募部門 対象とするKG ➢5つの小説のうち,いずれの小説を対象にしてもよい (どれか1つだけ,2つだけ…などでもOK) ➢できるだけ多くの小説が,同じシステム(仕組み)で解けるとよい ➢各小説で使用するKGの範囲を段階的に変える(昨年同様) →完全(すべてのKG)/不完全(10%)/不完全(25%) ➢ナレッジグラフの独自拡張も可能(昨年同様) 対象とするタスク ➢①本部門:対象小説1つ以上のタスクを解くシステムを開発 ➢②ツール部門:いずれかのタスクを部分的に解くツールを開発 例)容疑者の推定,アリバイ検証,動機説明,など ★「自然言語文をトリプル化」するKG構築支援ツールの応募も可 ➢アイデア部門:①,②の実現方法のアイデア(実装なしでOK) 51
  52. 52. ツール部門への応募アイデア例
  53. 53. ツール部門とは 今回から新設した部門 ➢本部門への取り組みには複数のタスクの解決が必要になると 想定される ➢タスクを部分的に解くシステム(ツールと呼ぶ)や,推論を支援 するツールでも応募を可能に 想定されるツールの例(※この限りではない) ➢犯行の動機の推定 ➢凶器,トリックの推定 ➢容疑者リストの絞り込み ➢アリバイの提示 ➢ナレッジグラフ構築,修正,補完ツール ✓ナレッジグラフの修正を通じて真相の推論,説明を支援する 53
  54. 54. 想定するツールの具体例(1) 「まだらの紐」から犯人の動機を解く ➢ 昨年度の「上小田中411」チームのアプローチの一部 ✓殺人動機のオントロジーを作成 ✓https://www.slideshare.net/TakanoriUgai/ss-124021828 「背中の曲がった男」のモリソン嬢を容疑者リストから除外 ➢ 21:15に夫人は帰宅,モリソン嬢は戸口で下ろしてもらっている ✓ モリソン嬢は部屋に入っていない(?) ➢ 夫人は紅茶を1杯持ってくるよう女中に言いつけた ✓ この時点で部屋には夫人が一人(?) ➢ 21:25にバークリと夫人は言い争いをしている ✓ この時点で部屋にはバークリと夫人の二人 ➢ 部屋は中から鍵がかかっている ✓ 窓から入るしか無い ➢ 窓の外には男の足跡 ✓ モリソン嬢と一致しない 54 時間,鍵,足跡などの 情報から容疑者リストを 絞り込むツールが作れる? あくまでも一例
  55. 55. 想定するツールの具体例(2) 推論に必要な基本情報を収集する汎用ツール ➢例) シーンの一覧の取得 ➢シーンに含まれる情報の取得 ✓登場人物 ✓述語 ✓場所 ✓他のシーンとのつながり… ➢適切な可視化,条件入力用のGUIを付けるとよい かも… 55 適切なSPARQL クエリのテンプレート を用意すれば取得 できそう
  56. 56. 想定するツールの具体例(3) 複数の小説において推論に利用できる外部知 識の構築 ➢第1回の応募作品でも,多くのチームが「ルール」や 「オントロジー」を外部知識として追加している ✓動機,手段,アリバイ,….etc. ➢これらの外部知識を整備・拡充することで,第2回の 対象小説を含め,汎用的に使用できるようにする. ➢DBpediaなど,外部LODの利用も検討するとよ い? 56
  57. 57. 想定するツールの具体例(4) ナレッジグラフの構築,修正,補完ツール ➢重要文の取り出し ➢文章のトリプル化 ➢語彙の統一支援 ➢ナレッジグラフの修正,妥当性検証 ➢ナレッジグラフの欠損補完,一般知識補完 ➢スキーマ提案 57 ナレッジグラフ修正リクエストフォーム https://tinyurl.com/yxuw4lht
  58. 58. まとめ ナレッジグラフ推論チャレンジ ➢“シャーロックホームズのような推理(推論)がで きるAIシステムの開発”を目指す チャレンジの“ねらい” ➢“説明可能性(解釈可能性)”を有するAI技術 の促進・共有と,その分析・評価・体系化を行う チャレンジの“タスク” ➢推理小説のナレッジグラフを用いて, 犯人を推理し,その理由の説明と共に示す 58
  59. 59. 最後に:応募に向けたヒント 応募に向けた参考情報は,公式サイトに! ➢第1回の応募作品(ソースコードもあり) ➢ナレッジグラフ処理のための技術資料・サンプルコード 利用する技術は無制限! ➢知識処理技術以外を用いた応募も歓迎 ➢外部知識の利用も可 ➢得意な技術を適用してみる 第2回の応募には,まだ,間に合う! ➢ツール部門へ応募し,来年以降につなげる ➢アイデア部門もあります 59
  60. 60. 参考文献 Report on the First Knowledge Graph Reasoning Challenge 2018 - Toward the eXplainable AI System,Proc. Of JIST2019 (to appear) 第1回ナレッジグラフ推論チャレンジ2018開催報告~ 第2回チャレンジ開催 案内~,第33回人工知能学会全国大会,1K2-J-4-04,2019 第1回ナレッジグラフ推論チャレンジ2018開催報告 ─ 説明性のある人工知能 システムを目指して─,人工知能学会学会誌34巻3号,pp.396-412, 2019 その他の参考資料は以下をご参照ください ➢ https://challenge.knowledge-graph.jp/reference.html 60
  61. 61. 参考:公式サイトの見かた 61 第1回の情報 (応募作品等) まずは「初めての方へ (参考資料)」のページを ナレッジグラフ の公開
  62. 62. ご応募お待ちしています! 62 本活動は,JSPS科研費19H04168 基盤研究(B) 解釈可能なAIシステムの実現に 向けたナレッジグラフに基づく推論・推定技術の体系化,および人工知能学会 研究会特別支援金の助成を受けたものです. 詳細は 「推論チャレンジ」 で検索 応募締切:11月末 最終審査会&授賞式 :2019/12/26@秋葉原(どなたでも参加可)

×