1. 2013年1月11日
マイニング探検会#31
＠国立情報学研究所
情報検索システムの
ユーザーのニーズを考える
株式会社ネクスト 技術基盤本部
リッテル研究所
清田 陽司

2. テストコレクションによる評価のモデル
ヒットした
検索質問
入力
情報検索システム
出力
テキストの
集合

3. 情報検索システムの評価尺度
正解テキスト
(A)
ヒットしたテキスト
(B)
正解
かつ
ヒット
(A∩B)
A∩ B A∩ B
再現率 ( R) = 精度( P) =
A B

4. 現実のWeb検索エンジンの使われ方

5. 現実のモデル
ヒットした
検索質問
入力
情報検索システム
出力
テキストの
集合＋α

6. 情報検索システムにおける
ユーザによる適合性評価
心理学的アプローチに
よる情報行動の実験
（情報の選択的提供）
情報探索行動の分析
情報探索行動の分析
コンテキストにおける
TRECスタイルの研究
TRECインタラクティブ
フィルタリング、SDI
トラックの研究
ログ解析
典型的な
システムへの インタラクティブ情報検索
人間への
フォーカス
システムの研究
フォーカス
図1:
情報検索システムの研究アプローチの連続体
（Diane
Kelly
「Methods
for
EvaluaHng
InteracHve
InformaHon
Retrieval
Systems
with
Users」
p.10
より引用

7. ユーザーのニーズをどのように扱う？
• 検索キーワードに紐付くもの？
• 最終的に探した情報に紐付くもの？

12. ニーズを理解するためのヒント
• フレームワーク
– AISAS、AIDMA
• ログデータ
– 「どんな価値を提供しているのか」に立ち返って、
適切な評価体系を開発

13. さがす目的の階層
用品の買い物先を
塩野七生の
具体的な
ホテルを探す
見つける
本を探す
行動
現地での行動を
バーベキューに
古代ローマに
テーマ
決める
必要なものを探す
ついて調べる
旅行先を
自宅で楽しめる
面白そうな
ドメイン
探す
レジャーを探す
分野を探す
分野
週末に家族で
未知の分野の
動機
一緒に過ごす
知識を深める
13

14. ダイアログナビ
http://www.microsoft.com/japan/navigator/
14

15. ダイアログナビのユーザインタフェース
システムとユーザを
大きめのテキストボックス
示すアイコン
⇒自然文による質問の入力を誘導
対話履歴を表示するフレーム
15

16. ダイアログナビのユーザインタフェース
選択肢(マッチしたテキスト)を表示するフレーム
テキストの種類とスコアを
アイコンで表示
16

17. A) 対話セッション単位の評価
成功
失敗
範囲外
知識有
知識無
知識有
知識無
適切
不適切
149
25 15 41 57 91
(65%) (11%) (7%) (18%)
174 (76%) 56 (24%)
148
230 (100%)
378
原因: リソースの不足
顕著な失敗例を分析し，
• テキスト集合
随時修正・作成
• 同義表現辞書
⇒成功率 60%台 → 70%台
17

18. B) ユーザ行動とシステム応答の分布
ユーザ質問の入力
(キーボード)
(98回) 計518回
(420回)
32回
66回
261回
159回
対話カード応答
対話カード応答
テキストマッチング
テキストマッチング
(完結した応答) (選択肢提示) (該当あり) (該当なし)
(U: こんにちわ) (U: エラーが発生した) (U: 行を追加したい) (U: サービスパックを
S: こんにちは。
S: エラーはいつ発生
S: 以下の選択肢から
入れたい)
しますか。
選んでください。
S: 該当する情報を見
つけることができま
平均選択肢数: 平均選択肢数: せんでした。
3.24 14.81
14回
58回
(CARD) 6回
(RET)
ユーザの選択
ユーザの選択
(マウス) (マウス)
38回
198回
(SHOW)
テキストの表示
18

19. 次のテーマ候補
• ログ分析手法
• ユーザーインタフェース
• 仕様書を書くための知識
– 信頼性
– コスト
– 仮想化
• 他には？