2017/11/16 BMXUGつきじ#2 資料 私が確認した限りのWatson Discoveryの機能です。

1. 1 日本情報通信株式会社
廣川 陣
1年目がWatsonを調べてみた！
～Discovery編～
1

2. Speaker
2
日本情報通信株式会社
ソリューションビジネス本部 ソフトウェアテクニカルセールス部
先進テクノロジーグループ
廣川 陣(Jin Hirokawa)
入社1年目
チームの戦力になるために日々奮闘中
出身地：大田区

3. Discoveryの概要
3
大量のデータを検索するとともに、データからパターン
や傾向を読み取り、適切な意思決定を支援します。
いろいろな形式の文書を解釈して良い感じに情報を付加
してくれるから、検索精度を上げてくれるし洞察も与え
てくれる素敵な検索エンジン

4. Discoveryの主機能
4
• 文書取込機能：HTML/PDF/WORD/JSONに対応
• エンリッチ機能：取り込んだ文書に対してタグ付けを行う
• ストレージ機能：データをクラウド上に保存する
• 検索機能：タグ付けした情報を含め、類似度スコア付きのデータ検索が可能

5. Discovery主機能(Crawler)
5
文書取込方法
・管理UI
Drag&Dropで取込可能
・API
API経由でファイルアップロード可能
・クローラ
javaベースのクローラがあり、自動文書取込が可能
Document Conversionと同等の機能を持った文書取込機能
管理UI
HTML/PDF/WORD/JSONに対応
TEXT/HTML/DBデータなどに対応

6. Discovery主機能(Enrich)
6
・概念(Concepts)
・エンティティ(Entities)
・キーワード(Keywords)
・カテゴリー(Categories)
・評判(Sentiment)
・感情(Emotion)
・関係(Relations)
・意味役割(Semantic Roles)
・その他(Metadata)
NLUを呼出し、その結果をメタ情報の一つとして登録
エンリッチ(抽出する単語の意味)を指定
・現在は英語とスペイン語が対応
・認識できるエンティティとカテ
ゴリーは事前に定義された項目
・Watson Knowledge Studioと
組み合わせる事でエンリッチし
たいフィールドを自由にカスタマ
イズする事が可能
※EntityとRelationのみ日本語可
NLUによる追加可能情報

7. Discovery主機能(Query)
7
• Discovery Query Language
エンリッチされたカラムに対して検索可能
• 自然文検索 (Natural Language Query)
従来のキーワードによる検索及び自然文での検索が可能
• 関連性学習 (Relevancy Training)
質問と回答候補の関連性を学習させることにより、最適なランキングモ
デルに育てる事が可能(自然文検索のみ)
エンリッチ機能で付加された情報を含めてデータ検索が可能

8. Top10やsumなどの集約関数
対象文書を絞り込む
Visual Query Builder
8
UIツールで検索方法を指定

9. Discovery Query Language
9
エンリッチ機能で抽出したカラムに対して検索
DQL

10. 自然文検索
10
自然文検索に対してスコア付きで回答する

11. 関連性学習
11
トレーニング画面
自然文検索の回答に対して適・不適を選択
所定の品質になるとトレーニング可能になる

12. Discovery News
12
• データの登録が必要なく、すぐに活用可能
• 10万のニュースソースから毎日約 30万件の記事とブロ
グを追加して常に更新され、過去60日間の履歴を保持
• NLUによるエンリッチ済のデータセットが用意されてい
る

13. Retrieve and Rankとの違い
13
• NLU、WKSの機能が利用可能なので、抽出したカラムに対して検索す
る事ができる
• 文書の形式変更や初期設定が不要
• UI画面がついた
• API経由で検索をかける際にPOSTではなくGETを使うため文字制限があ
る※
• 辞書登録ができないため、専門的な用語がとれない※
• 全文検索のためシステムによって付与される情報も検索対象となる※
※私が確認した限りでは

14. まとめ
14
• 1年目のWatson初心者でも簡単に使えるUI
• Retrieve and Rankの機能を持ち合わせてい
るが制約がある。
• エンリッチされた情報を使えるので、通常の検索エンジ
ンと⽐較して⾼度な検索が可能