SlideShare a Scribd company logo
1 of 13
Download to read offline
2023年3月16日
鵜飼 孝典
富士通株式会社
ナレッジグラフ推論チャレンジ
【実社会版】応募資料
Copyright 2022 FUJITSU LIMITED
0
応募者に関する情報
 氏名またはチーム名:鵜飼孝典
 所属: 富士通株式会社
 メールアドレス:ugai@fujitsu.com
1 Copyright 2022 FUJITSU LIMITED
資料の共有について
 応募資料公開の可否: 公開してよい
 公開形式: 独自のサイトで公開してリンクを希望
 公開先URL(※):後ほど slideshare のURLをお知らせします
 プログラム,データ等 、公開の可否:公開してよい
 公開形式: 独自のサイトで公開してリンクを希望
 公開先URL: https://github.com/takanori-ugai/KGRC4SI
2 Copyright 2022 FUJITSU LIMITED
取り組んだタスクの種類
 タスク1:危険な状況の検出
 タスク2:生活行動ナレッジグラフの作成
 タスク3:定量的評価基準の作成
3 Copyright 2022 FUJITSU LIMITED
タスク1
 リスク検知の対象データ:ナレッジグラフ
 2022年8月版21個のアクティビティ
 定義したリスクの種類:
 文献 江上他,家庭内の事故予防に向けた合成ナレッジグラフの構築と推
論, 人工知能学会SWO研究会(SWO-056),pp.1-10,2022 に示された16種類
の転倒リスクが対象
 独自に定義したリスクはなし
 検知したリスクの種類、数
 上記文献に示されたルールで検出された2種類、8か所
4 Copyright 2022 FUJITSU LIMITED
実行例
 リスク検知の例
 accuracy: 94.23% ± 8.34, (10-fold cross validation)
 ナレッジグラフの該当箇所/動画のフレームID
 http://example.org/virtualhome2kg/instance/event2_find_some_food_sce
ne1 : 1 (DoSomethingToHighPositionObject)
 http://example.org/virtualhome2kg/instance/event3_find_some_food_sce
ne1 : 1 (DoSomethingToHighPositionObject)
 検知したリスクの種類
 DoSomethingToHighPositionObject :高いところにあるものになにかする
 GrabLowPositionObject:低いところにあるものを持つ
5 Copyright 2022 FUJITSU LIMITED
 リスクの説明(なぜそれがリスクなのか)
 chatGPTへの入力
• Finding some food is risky for older people because it is to do something to objects in a high place. Why is it a risk and what is a safer way to
achieve the objective?
 回答の説明部分
• Reaching for objects in high places can be risky for older people because it can increase the risk of falls and injuries. As people age, their
balance, coordination, and muscle strength may decline, which can make it more difficult to maintain stability while reaching for objects
above their head. Additionally, using step stools, ladders, or other objects to reach for high objects can also increase the risk of falls,
especially if the objects are not stable or if the person is not familiar with using them.
 OpenAIのAPIを利用した実装
• https://github.com/takanori-ugai/KGRC4SI/blob/main/Task1/Task1/Davinci.ipynb
• Because they can fall and get injured.
• The older people are, the more likely they are to fall.
• The older people are, the more likely they are to fall.
• The older people are, the more likely they are
 解決策、代替案
 BERTを用いた実装(https://github.com/takanori-ugai/KGRC4SI/blob/main/Task1/QA/QA.py)
• Finding some food is risky.
 リスクの説明と同じ入力に対するchatGPTの回答の解決策、代替案部分
• To achieve the objective of accessing objects in high places safely, there are a few strategies that older people can use:
1. Rearrange items: Move frequently used items to lower shelves or within easy reach to avoid the need to reach high up.
2. Use reaching aids: Consider using tools such as a reacher, which is a long-handled device with a grip at one end to grab objects that are out of reach.
3. Ask for help: Ask for assistance from a friend or family member to retrieve objects from high places.
4. Use a step stool or ladder with caution: If you must use a step stool or ladder, ensure that it is stable and secure, and that you have someone nearby to
assist you if necessary.
• By using these strategies, older people can reduce their risk of falls and injuries when accessing objects in high places.
 OpenAIのAPIを利用した実装
• https://github.com/takanori-ugai/KGRC4SI/blob/main/Task1/Task1/Davinci.ipynb
• The answer is to use a step stool.
• A step stool is a small stool that can be used to reach objects that are high. It is a very useful tool for older people to help them reach objects
that are high.
6 Copyright 2022 FUJITSU LIMITED
技術的説明
 検知(推論)過程の技術的な説明
 検知:
• jRDF2Vecを用いて各ノードのベクトルを得る
• 前述の参考文献に示された検出結果を正解として、イベントのノードを機械
学習により分類した
• 分類器には K Nearest Neighbors を用いた
 説明:
• 前述の参考文献に示されたリスクを説明とした
 代替案
• 学習済みのBERTモデルを用いたQA問題としてプログラムを作成した
• 上記で設定したQA問題の問いの部分を chatGPT に入力した
 技術的工夫、追加した知識
 既存の事前学習済みのBERTモデル)
 追加した知識はなし
7 Copyright 2022 FUJITSU LIMITED
付録
 公開データで結果を再現するための手順
 github の公開レポジトリのREADMEに記述
 未公開(検証用)データでシステムを検証するための手順
 同上
 パフォーマンス情報(計算機のスペック,実行時間,使用するメモ
リなど)
 動作確認済み環境
• OS: Linux
• CPU: Intel Core i7 12世代
• MEMORY: 32G
• GPU:GeForce RTX 3080
• 実行時間:RDFデータから結果が出るまで約1時間
 参考情報(参考文献)
 江上他,家庭内の事故予防に向けた合成ナレッジグラフの構築と推論, 人工知
能学会SWO研究会(SWO-056),pp.1-10,2022
 鵜飼, イベント中心ナレッジグラフにおけるWalkモデルと代数モデルの埋め
込みの比較,SWO-059-06,2023
8 Copyright 2022 FUJITSU LIMITED
Task2
 もとにしたデータ
 事前学習済みのGPT2モデル
 2022年12月版の台本データ
 生成したデータの種類
 台本データ・動画
 生成したデータ数
 2000(重複あり)
 変換例(生成例)
 変換の技術的解説
 事前学習済みのGPT2モデルを提供されている台本データを用いて fine
tuningを行って、 fine tuning と同様のデータを生成させた
9 Copyright 2022 FUJITSU LIMITED
付録
 公開データで結果を再現するための手順
 github の公開レポジトリのREADMEに記述
 未公開(検証用)データでシステムを検証するための手順
 同上
 パフォーマンス情報(計算機のスペック,実行時間,使用するメモ
リなど)
 動作確認済み環境
• OS: Linux
• CPU: Intel Core i7 12世代
• MEMORY: 32G
• GPU:GeForce RTX 3080
• 実行時間:RDFデータから結果が出るまで約1時間
 参考情報(参考文献)
 江上他,家庭内の事故予防に向けた合成ナレッジグラフの構築と推論, 人工知
能学会SWO研究会(SWO-056),pp.1-10,2022
 鵜飼, イベント中心ナレッジグラフにおけるWalkモデルと代数モデルの埋め
込みの比較,SWO-059-06,2023
10 Copyright 2022 FUJITSU LIMITED
Task3
 作成した指標
 短期間に複数のリスクがある状況がより危険であることを
• 時間当たりのリスクの数
 で表現する
 指標の解説
 30秒の動画で3か所のリスクが検出されたシーン1 6 箇所/分
 20秒の動画で4か所のリスクが検出されたシーン2 12箇所/分
 シーン2がシーン1の2倍危険であると判定する。
 常設の録画(長時間の動画)の場合は、幅5分で、1分ごとにスライドさ
せて計算することで、動画中のリスクの時間変化を測定することができ
る
 システムとして実装した場合
 システムとしては未実装
11 Copyright 2022 FUJITSU LIMITED
Copyright 2022 FUJITSU LIMITED

More Related Content

Similar to ナレッジグラフ推論チャレンジ【実社会版】応募資料

Metahub for github
Metahub for githubMetahub for github
Metahub for githubSuguru Oho
 
オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!
オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!
オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!Masaki Muranaka
 
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learnedエンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons LearnedDaiki Kawanuma
 
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識Katsuhiro Morishita
 
第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ
第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ
第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチTakeshi Morikawa
 
Cq tse-fm3セミナー資料
Cq tse-fm3セミナー資料Cq tse-fm3セミナー資料
Cq tse-fm3セミナー資料Masaki Muranaka
 
QGISセミナー初級・実践編(V2.4)
QGISセミナー初級・実践編(V2.4)QGISセミナー初級・実践編(V2.4)
QGISセミナー初級・実践編(V2.4)IWASAKI NOBUSUKE
 
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版FOSS4G_MEXT
 
PTLのお仕事とリリースパイプラインの裏側
PTLのお仕事とリリースパイプラインの裏側PTLのお仕事とリリースパイプラインの裏側
PTLのお仕事とリリースパイプラインの裏側masahito12
 
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...Preferred Networks
 
OSC2017Hokkaido
OSC2017HokkaidoOSC2017Hokkaido
OSC2017Hokkaidoslankdev
 
Fortranが拓く世界、VSCodeが架ける橋
Fortranが拓く世界、VSCodeが架ける橋Fortranが拓く世界、VSCodeが架ける橋
Fortranが拓く世界、VSCodeが架ける橋智啓 出川
 
20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI
20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI
20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAIKukita Gen
 
第8回 福岡西区勉強会
第8回 福岡西区勉強会第8回 福岡西区勉強会
第8回 福岡西区勉強会Shinya Kinoshita
 
ToolChainを使った次世代DevOps環境の作り方
ToolChainを使った次世代DevOps環境の作り方ToolChainを使った次世代DevOps環境の作り方
ToolChainを使った次世代DevOps環境の作り方Harada Kazuki
 
Jupyterで運用やってみた
Jupyterで運用やってみたJupyterで運用やってみた
Jupyterで運用やってみたSatoshi Yazawa
 
CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer NetworkCV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer NetworkToshiki Sakai
 
JupyterLabを中心とした快適な分析生活
JupyterLabを中心とした快適な分析生活JupyterLabを中心とした快適な分析生活
JupyterLabを中心とした快適な分析生活Classi.corp
 
「品質ダッシュボード」と「データによる意思決定」
「品質ダッシュボード」と「データによる意思決定」「品質ダッシュボード」と「データによる意思決定」
「品質ダッシュボード」と「データによる意思決定」Kohei Tomita
 

Similar to ナレッジグラフ推論チャレンジ【実社会版】応募資料 (20)

Metahub for github
Metahub for githubMetahub for github
Metahub for github
 
オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!
オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!
オープン・ソースで構築するARMマイコン開発環境 ―― GCC,Eclipse,OpenOCDで統合開発環境,JTAGデバッグもできる!
 
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learnedエンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
 
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
 
Dependency injection
Dependency injectionDependency injection
Dependency injection
 
第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ
第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ
第18回Cloud Foundry輪読会用 Buildpackを使ってアプリを 載せるためのアプローチ
 
Cq tse-fm3セミナー資料
Cq tse-fm3セミナー資料Cq tse-fm3セミナー資料
Cq tse-fm3セミナー資料
 
QGISセミナー初級・実践編(V2.4)
QGISセミナー初級・実践編(V2.4)QGISセミナー初級・実践編(V2.4)
QGISセミナー初級・実践編(V2.4)
 
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
 
PTLのお仕事とリリースパイプラインの裏側
PTLのお仕事とリリースパイプラインの裏側PTLのお仕事とリリースパイプラインの裏側
PTLのお仕事とリリースパイプラインの裏側
 
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
 
OSC2017Hokkaido
OSC2017HokkaidoOSC2017Hokkaido
OSC2017Hokkaido
 
Fortranが拓く世界、VSCodeが架ける橋
Fortranが拓く世界、VSCodeが架ける橋Fortranが拓く世界、VSCodeが架ける橋
Fortranが拓く世界、VSCodeが架ける橋
 
20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI
20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI
20170921 日本生物物理学会 マイクロソフトのR&DクラウドとAI
 
第8回 福岡西区勉強会
第8回 福岡西区勉強会第8回 福岡西区勉強会
第8回 福岡西区勉強会
 
ToolChainを使った次世代DevOps環境の作り方
ToolChainを使った次世代DevOps環境の作り方ToolChainを使った次世代DevOps環境の作り方
ToolChainを使った次世代DevOps環境の作り方
 
Jupyterで運用やってみた
Jupyterで運用やってみたJupyterで運用やってみた
Jupyterで運用やってみた
 
CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer NetworkCV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer Network
 
JupyterLabを中心とした快適な分析生活
JupyterLabを中心とした快適な分析生活JupyterLabを中心とした快適な分析生活
JupyterLabを中心とした快適な分析生活
 
「品質ダッシュボード」と「データによる意思決定」
「品質ダッシュボード」と「データによる意思決定」「品質ダッシュボード」と「データによる意思決定」
「品質ダッシュボード」と「データによる意思決定」
 

More from Takanori Ugai

コロナ禍における研究会のデザインに向けて
コロナ禍における研究会のデザインに向けてコロナ禍における研究会のデザインに向けて
コロナ禍における研究会のデザインに向けてTakanori Ugai
 
第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料Takanori Ugai
 
ナレッジグラフ推論チャレンジ2020最終審査
ナレッジグラフ推論チャレンジ2020最終審査ナレッジグラフ推論チャレンジ2020最終審査
ナレッジグラフ推論チャレンジ2020最終審査Takanori Ugai
 
.ニューノーマルを見据えた研究会デザインに向けて
.ニューノーマルを見据えた研究会デザインに向けて.ニューノーマルを見据えた研究会デザインに向けて
.ニューノーマルを見据えた研究会デザインに向けてTakanori Ugai
 
ナレッジグラフ推論チャレンジ2020技術勉強会
ナレッジグラフ推論チャレンジ2020技術勉強会ナレッジグラフ推論チャレンジ2020技術勉強会
ナレッジグラフ推論チャレンジ2020技術勉強会Takanori Ugai
 
Lodc kgrc 2020 Meeting
Lodc kgrc 2020 MeetingLodc kgrc 2020 Meeting
Lodc kgrc 2020 MeetingTakanori Ugai
 
推論チャレンジ2019発表資料
推論チャレンジ2019発表資料推論チャレンジ2019発表資料
推論チャレンジ2019発表資料Takanori Ugai
 
第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~
第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~
第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~Takanori Ugai
 
ナレッジグラフ推論チャレンジ2019技術勉強会
ナレッジグラフ推論チャレンジ2019技術勉強会ナレッジグラフ推論チャレンジ2019技術勉強会
ナレッジグラフ推論チャレンジ2019技術勉強会Takanori Ugai
 
Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...
Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...
Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...Takanori Ugai
 
ナレッジグラフ推論チャレンジ2018ミートアップ@東京
ナレッジグラフ推論チャレンジ2018ミートアップ@東京ナレッジグラフ推論チャレンジ2018ミートアップ@東京
ナレッジグラフ推論チャレンジ2018ミートアップ@東京Takanori Ugai
 
ナレッジグラフ推論チャレンジ発表資料
ナレッジグラフ推論チャレンジ発表資料ナレッジグラフ推論チャレンジ発表資料
ナレッジグラフ推論チャレンジ発表資料Takanori Ugai
 
Knowledge Graph Completion Challenge
Knowledge Graph Completion ChallengeKnowledge Graph Completion Challenge
Knowledge Graph Completion ChallengeTakanori Ugai
 
Visualizing Stakeholder Concerns with Anchored Map
Visualizing Stakeholder Concerns with Anchored MapVisualizing Stakeholder Concerns with Anchored Map
Visualizing Stakeholder Concerns with Anchored MapTakanori Ugai
 

More from Takanori Ugai (15)

コロナ禍における研究会のデザインに向けて
コロナ禍における研究会のデザインに向けてコロナ禍における研究会のデザインに向けて
コロナ禍における研究会のデザインに向けて
 
第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料
 
ナレッジグラフ推論チャレンジ2020最終審査
ナレッジグラフ推論チャレンジ2020最終審査ナレッジグラフ推論チャレンジ2020最終審査
ナレッジグラフ推論チャレンジ2020最終審査
 
.ニューノーマルを見据えた研究会デザインに向けて
.ニューノーマルを見据えた研究会デザインに向けて.ニューノーマルを見据えた研究会デザインに向けて
.ニューノーマルを見据えた研究会デザインに向けて
 
ナレッジグラフ推論チャレンジ2020技術勉強会
ナレッジグラフ推論チャレンジ2020技術勉強会ナレッジグラフ推論チャレンジ2020技術勉強会
ナレッジグラフ推論チャレンジ2020技術勉強会
 
Lodc kgrc 2020 Meeting
Lodc kgrc 2020 MeetingLodc kgrc 2020 Meeting
Lodc kgrc 2020 Meeting
 
推論チャレンジ2019発表資料
推論チャレンジ2019発表資料推論チャレンジ2019発表資料
推論チャレンジ2019発表資料
 
第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~
第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~
第2回ナレッジグラフ推論チャレンジ2019勉強会 ~ 同一事件 A CASE OF IDENTITY ~
 
ナレッジグラフ推論チャレンジ2019技術勉強会
ナレッジグラフ推論チャレンジ2019技術勉強会ナレッジグラフ推論チャレンジ2019技術勉強会
ナレッジグラフ推論チャレンジ2019技術勉強会
 
Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...
Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...
Practical use of Knowledge Graph with Case Studies using Semantic Web Publish...
 
ナレッジグラフ推論チャレンジ2018ミートアップ@東京
ナレッジグラフ推論チャレンジ2018ミートアップ@東京ナレッジグラフ推論チャレンジ2018ミートアップ@東京
ナレッジグラフ推論チャレンジ2018ミートアップ@東京
 
ナレッジグラフ推論チャレンジ発表資料
ナレッジグラフ推論チャレンジ発表資料ナレッジグラフ推論チャレンジ発表資料
ナレッジグラフ推論チャレンジ発表資料
 
Knowledge Graph Completion Challenge
Knowledge Graph Completion ChallengeKnowledge Graph Completion Challenge
Knowledge Graph Completion Challenge
 
Nober application
Nober applicationNober application
Nober application
 
Visualizing Stakeholder Concerns with Anchored Map
Visualizing Stakeholder Concerns with Anchored MapVisualizing Stakeholder Concerns with Anchored Map
Visualizing Stakeholder Concerns with Anchored Map
 

ナレッジグラフ推論チャレンジ【実社会版】応募資料

  • 2. 応募者に関する情報  氏名またはチーム名:鵜飼孝典  所属: 富士通株式会社  メールアドレス:ugai@fujitsu.com 1 Copyright 2022 FUJITSU LIMITED
  • 3. 資料の共有について  応募資料公開の可否: 公開してよい  公開形式: 独自のサイトで公開してリンクを希望  公開先URL(※):後ほど slideshare のURLをお知らせします  プログラム,データ等 、公開の可否:公開してよい  公開形式: 独自のサイトで公開してリンクを希望  公開先URL: https://github.com/takanori-ugai/KGRC4SI 2 Copyright 2022 FUJITSU LIMITED
  • 5. タスク1  リスク検知の対象データ:ナレッジグラフ  2022年8月版21個のアクティビティ  定義したリスクの種類:  文献 江上他,家庭内の事故予防に向けた合成ナレッジグラフの構築と推 論, 人工知能学会SWO研究会(SWO-056),pp.1-10,2022 に示された16種類 の転倒リスクが対象  独自に定義したリスクはなし  検知したリスクの種類、数  上記文献に示されたルールで検出された2種類、8か所 4 Copyright 2022 FUJITSU LIMITED
  • 6. 実行例  リスク検知の例  accuracy: 94.23% ± 8.34, (10-fold cross validation)  ナレッジグラフの該当箇所/動画のフレームID  http://example.org/virtualhome2kg/instance/event2_find_some_food_sce ne1 : 1 (DoSomethingToHighPositionObject)  http://example.org/virtualhome2kg/instance/event3_find_some_food_sce ne1 : 1 (DoSomethingToHighPositionObject)  検知したリスクの種類  DoSomethingToHighPositionObject :高いところにあるものになにかする  GrabLowPositionObject:低いところにあるものを持つ 5 Copyright 2022 FUJITSU LIMITED
  • 7.  リスクの説明(なぜそれがリスクなのか)  chatGPTへの入力 • Finding some food is risky for older people because it is to do something to objects in a high place. Why is it a risk and what is a safer way to achieve the objective?  回答の説明部分 • Reaching for objects in high places can be risky for older people because it can increase the risk of falls and injuries. As people age, their balance, coordination, and muscle strength may decline, which can make it more difficult to maintain stability while reaching for objects above their head. Additionally, using step stools, ladders, or other objects to reach for high objects can also increase the risk of falls, especially if the objects are not stable or if the person is not familiar with using them.  OpenAIのAPIを利用した実装 • https://github.com/takanori-ugai/KGRC4SI/blob/main/Task1/Task1/Davinci.ipynb • Because they can fall and get injured. • The older people are, the more likely they are to fall. • The older people are, the more likely they are to fall. • The older people are, the more likely they are  解決策、代替案  BERTを用いた実装(https://github.com/takanori-ugai/KGRC4SI/blob/main/Task1/QA/QA.py) • Finding some food is risky.  リスクの説明と同じ入力に対するchatGPTの回答の解決策、代替案部分 • To achieve the objective of accessing objects in high places safely, there are a few strategies that older people can use: 1. Rearrange items: Move frequently used items to lower shelves or within easy reach to avoid the need to reach high up. 2. Use reaching aids: Consider using tools such as a reacher, which is a long-handled device with a grip at one end to grab objects that are out of reach. 3. Ask for help: Ask for assistance from a friend or family member to retrieve objects from high places. 4. Use a step stool or ladder with caution: If you must use a step stool or ladder, ensure that it is stable and secure, and that you have someone nearby to assist you if necessary. • By using these strategies, older people can reduce their risk of falls and injuries when accessing objects in high places.  OpenAIのAPIを利用した実装 • https://github.com/takanori-ugai/KGRC4SI/blob/main/Task1/Task1/Davinci.ipynb • The answer is to use a step stool. • A step stool is a small stool that can be used to reach objects that are high. It is a very useful tool for older people to help them reach objects that are high. 6 Copyright 2022 FUJITSU LIMITED
  • 8. 技術的説明  検知(推論)過程の技術的な説明  検知: • jRDF2Vecを用いて各ノードのベクトルを得る • 前述の参考文献に示された検出結果を正解として、イベントのノードを機械 学習により分類した • 分類器には K Nearest Neighbors を用いた  説明: • 前述の参考文献に示されたリスクを説明とした  代替案 • 学習済みのBERTモデルを用いたQA問題としてプログラムを作成した • 上記で設定したQA問題の問いの部分を chatGPT に入力した  技術的工夫、追加した知識  既存の事前学習済みのBERTモデル)  追加した知識はなし 7 Copyright 2022 FUJITSU LIMITED
  • 9. 付録  公開データで結果を再現するための手順  github の公開レポジトリのREADMEに記述  未公開(検証用)データでシステムを検証するための手順  同上  パフォーマンス情報(計算機のスペック,実行時間,使用するメモ リなど)  動作確認済み環境 • OS: Linux • CPU: Intel Core i7 12世代 • MEMORY: 32G • GPU:GeForce RTX 3080 • 実行時間:RDFデータから結果が出るまで約1時間  参考情報(参考文献)  江上他,家庭内の事故予防に向けた合成ナレッジグラフの構築と推論, 人工知 能学会SWO研究会(SWO-056),pp.1-10,2022  鵜飼, イベント中心ナレッジグラフにおけるWalkモデルと代数モデルの埋め 込みの比較,SWO-059-06,2023 8 Copyright 2022 FUJITSU LIMITED
  • 10. Task2  もとにしたデータ  事前学習済みのGPT2モデル  2022年12月版の台本データ  生成したデータの種類  台本データ・動画  生成したデータ数  2000(重複あり)  変換例(生成例)  変換の技術的解説  事前学習済みのGPT2モデルを提供されている台本データを用いて fine tuningを行って、 fine tuning と同様のデータを生成させた 9 Copyright 2022 FUJITSU LIMITED
  • 11. 付録  公開データで結果を再現するための手順  github の公開レポジトリのREADMEに記述  未公開(検証用)データでシステムを検証するための手順  同上  パフォーマンス情報(計算機のスペック,実行時間,使用するメモ リなど)  動作確認済み環境 • OS: Linux • CPU: Intel Core i7 12世代 • MEMORY: 32G • GPU:GeForce RTX 3080 • 実行時間:RDFデータから結果が出るまで約1時間  参考情報(参考文献)  江上他,家庭内の事故予防に向けた合成ナレッジグラフの構築と推論, 人工知 能学会SWO研究会(SWO-056),pp.1-10,2022  鵜飼, イベント中心ナレッジグラフにおけるWalkモデルと代数モデルの埋め 込みの比較,SWO-059-06,2023 10 Copyright 2022 FUJITSU LIMITED
  • 12. Task3  作成した指標  短期間に複数のリスクがある状況がより危険であることを • 時間当たりのリスクの数  で表現する  指標の解説  30秒の動画で3か所のリスクが検出されたシーン1 6 箇所/分  20秒の動画で4か所のリスクが検出されたシーン2 12箇所/分  シーン2がシーン1の2倍危険であると判定する。  常設の録画(長時間の動画)の場合は、幅5分で、1分ごとにスライドさ せて計算することで、動画中のリスクの時間変化を測定することができ る  システムとして実装した場合  システムとしては未実装 11 Copyright 2022 FUJITSU LIMITED