Watson knowledge studio 紹介 - あなたの知識をWatson に教え込む!

Hiroaki Komine
Hiroaki KomineSoftware & Solution Architect at IBM
Watson Knowledge Studio
あなたの知識をWatson に教え込む!
2017年7⽉20⽇
本⽇のはなし
検索と分析による
知⾒の発⾒
⾃然⾔語の
テキスト
⾃然⾔語処理に
よる情報抽出
Watson Knowledge Studio (WKS)
業務分野に応じた情報抽出器の作成
テキストから抽出する構造化データ
⼈
「川崎さんは神奈川県に住んでいます。」 「川崎は神奈川県にあります。」
地名 地名地名
⼈
川崎
地名
川崎
地名
神奈川県
⼈
川崎 神奈川県
地名 地名地名
川崎 神奈川県
居住している 含まれる
居住している 含まれる
エンティティ 関係
業務分野に応じた情報抽出の例
この⽂章から抽出したい情報
• 構成するハードウエアやユニット
• 対象となる部位
• ⽣成される画像やデータ
分析したい⽤語や関係に応じた
業務分野の情報抽出器が必要!
実施形態 の X線診断装置 は、 胸部X線像 から 助⾻下縁 の 頂上部のエッジ が
強調された 画像 を⽣成する 画像処理部 と、 前記画像 の 左肺野部 と 右肺野部 の
相関によって 胸部の中⼼部の傾き を求める 画像分析部 と、から構成される。
業務分野に応じた情報抽出の例
実施形態 の X線診断装置 は、 胸部X線像 から 助⾻下縁 の 頂上部のエッジ が
強調された 画像 を⽣成する 画像処理部 と、 前記画像 の 左肺野部 と 右肺野部 の
相関によって 胸部の中⼼部の傾き を求める 画像分析部 と、から構成される。画像分析部胸部の中⼼部の傾き
#1#1
前記画像画像 画像処理部 左肺野部 右肺野部
X線診断装置 胸部X線像 頂上部のエッジ助⾻下縁
エンティティ
• X線診断装置 (ハードウェア)
• 画像処理部、画像分析部(ユニット)
• 胸部X線像、前記画像(画像)
• 胸部の中⼼部の傾き(データ)
照応関係
#1 画像 = 前記画像
テキストから抽出できる情報
業務分野に応じた情報抽出の例
実施形態 の X線診断装置 は、 胸部X線像 から 助⾻下縁 の 頂上部のエッジ が
強調された 画像 を⽣成する 画像処理部 と、 前記画像 の 左肺野部 と 右肺野部 の
相関によって 胸部の中⼼部の傾き を求める 画像分析部 と、から構成される。画像分析部胸部の中⼼部の傾き
#1#1
前記画像画像 画像処理部 左肺野部 右肺野部
X線診断装置 胸部X線像 頂上部のエッジ助⾻下縁
エンティティ
• X線診断装置 (ハードウェア)
• 画像処理部、画像分析部(ユニット)
• 胸部X線像、前記画像(画像)
• 胸部の中⼼部の傾き(データ)
関係
• X線診断装置 ← 画像処理部、画像分析部
(構成する)
• 画像 ← 画像処理部(⽣成する)
• 助⾻下縁 ←頂上部のエッジ(含まれる)
照応関係
#1 画像 = 前記画像
テキストから抽出できる情報
構成する
⽣成する
⽣成する
含まれる
Watson Knowledge Studioでの情報抽出器作成
抽出する情報
の選定
学習⽤の⽂書
を⽤意
業務分野の辞書
の作成
⽂書の注釈付け 情報抽出器の
作成 評価 適⽤
どんな情報を抽出し
たいのか?
• エンティティ
• 関係
• 照応関係
Type System Documents Dictionaries Annotation Build & Deploy
分析したいサンプル
となる⽂書
業務分野独⾃の⽤語を
定義して、注釈付けを
効率化
専⾨家による⽂章への
注釈付け
(グランド・トゥルース)
Watsonソリュー
ションへ適⽤して、
分析に利⽤
Watson Knowledge Studioとは
エンティティ 関係
照応関係
正解データによって
作られた情報抽出器
(モデル)
専⾨家によって注釈付けされた
業務分野のサンプル⽂章
(正解データ)
分析対象となる⾃然⾔語のテキスト
専⾨家による
ヒューマン・アノテーション
• 業務分野に合わせた⾔葉の学習で
情報抽出器の作成
Watson Knowledge Studioのデモ
◎使⽤する⽂書データ
医⽤画像診断装置に関する特許⽂書
◎デモの流れ
1. Watson Knowledge Studioの画⾯の概要
2. 専⾨家による注釈付け(ヒューマン・アノテーション)のやり⽅
3. 情報抽出器の作成と性能評価
Watson Knowledge Studioの情報抽出器の利⽤
Natural Language
Understanding (NLU)
Discovery (WDS)
Explorer (WEX)
情報抽出器
(モデル)
Watson Knowledge Studio (WKS)
専⾨家による⽂章への注釈付け
(ヒューマン・アノテーション)
Watson Discovery
簡易クエリ⾔語で、意味づけされた
内容をフィルターして検索と分析
⽂書構造の変換と標準化
HTML PDF WORD JSON
⾃然⽂からの情報を抽出と
意味付け(エンリッチ化)
キーワード
エンティティ
カテゴリ
コンセプト
関係
好感度 喜怒哀楽
意味付けをインデックスに保持
Ingestion Enrichment Query & Analyze
⾃然⾔語処理
Watson Discoveryでの意味付け(エンリッチ化)
意味付けの項⽬ 説明
エンティティ抽出
Entity extraction
⼊⼒テキストに含まれる⼈物、場所、組織などのアイテムを抽出。
関係抽出
Relation extraction
⼊⼒された内容の中の⽂中の主題、動作、および対象物の関係を識別。
キーワード抽出
Keyword extraction
データのインデックス作成やタグクラウドの⽣成、あるいは検索の際に⼀般
的に使⽤される、コンテンツの重要なトピックを抽出。
カテゴリ分類
Taxonomy classification
⼊⼒されたコンテンツを最⼤5レベルの階層分類に分類します。深いレベルの
分類。
コンセプトタギング
Concept tagging
テキストに含まれる概念やエンティティから関連するコンセプトを識別。
テキストで直接参照されていない概念を識別することが可能。
感情(好感度)分析
Sentiment analysis
コンテンツ全体やエンティティのレベルで好意的か否定的かの度合いを分析。
感情(喜怒哀楽)分析
Emotion analysis
コンテンツで⽰される怒り、嫌悪感、恐怖、喜び、悲しみを検出。
Watson DiscoveryでのWKS情報抽出器の利⽤
Watson Knowledge Studio (WKS)
Watson Knowledge Studio で作成された情報抽出器で、
業務分野のエンティティーや関係の抽出が可能
簡易クエリ⾔語で、意味づけされた
内容をフィルターして検索と分析
⽂書構造の変換と標準化
HTML PDF WORD JSON
⾃然⽂からの情報を抽出と
意味付け(エンリッチ化)
キーワード
エンティティ
カテゴリ
コンセプト
関係
好感度 喜怒哀楽
意味付けをインデックスに保持
Ingestion Enrichment Query & Analyze
Watson Discoveryのデモ
1. Discoveryの概要
2. WKSの情報抽出器のデプロイ
3. Data insightページでのデータの確認
(WKSとの⽐較で学習モデルでの⽇本語⽂書のエンリッ
チメントの例)
まとめ
⾃然⾔語の分析には単なるキーワードではなく、
⽂章に含まれるエンティティや関係の抽出が必要
Watson Knowledge Studioで業務分野に応じた専⾨知識を学習
作成した情報抽出器(モデル)は
Watson DiscoveryやWatson Explorerで利⽤可能
1 of 15

More Related Content

What's hot(20)

RDF Semantic Graph「RDF 超入門」RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」
オラクルエンジニア通信10K views
Data-Centric AIの紹介Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa3.8K views
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク25.7K views
世界一わかりやすいClean Architecture世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
Atsushi Nakamura47.1K views
DBpedia Japaneseとは?DBpedia Japaneseとは?
DBpedia Japaneseとは?
National Institute of Informatics (NII)6.6K views
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi14.7K views
 論文に関する基礎知識2016 論文に関する基礎知識2016
論文に関する基礎知識2016
Mai Otsuki56.9K views
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類
Yoshitaka HARA33.5K views
Vespa 機能紹介 #yjmuVespa 機能紹介 #yjmu
Vespa 機能紹介 #yjmu
Yahoo!デベロッパーネットワーク2.7K views
tf,tf2完全理解tf,tf2完全理解
tf,tf2完全理解
Koji Terada201.1K views

Watson knowledge studio 紹介 - あなたの知識をWatson に教え込む!