Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2013年1月11日	  マイニング探検会#31	  @国立情報学研究所	       情報検索システムの	        ユーザーのニーズを考える	        株式会社ネクスト 技術基盤本部	              リッテル研究所	 ...
テストコレクションによる評価のモデル	                                    ヒットした	  検索質問	   入力	   情報検索システム	   出力	   テキストの	                     ...
情報検索システムの評価尺度	 正解テキスト	  (A)	           ヒットしたテキスト	  (B)	                       正解	                         かつ	             ...
現実のWeb検索エンジンの使われ方
現実のモデル	                                     ヒットした	  検索質問	   入力	    情報検索システム	   出力	   テキストの	                               ...
情報検索システムにおける	                    ユーザによる適合性評価	                                                                             ...
ユーザーのニーズをどのように扱う?	•  検索キーワードに紐付くもの?	  •  最終的に探した情報に紐付くもの?	  
ニーズを理解するためのヒント	•  フレームワーク	    –  AISAS、AIDMA	  •  ログデータ	    –  「どんな価値を提供しているのか」に立ち返って、     適切な評価体系を開発	  
さがす目的の階層	               用品の買い物先を	     塩野七生の	           具体的な	  ホテルを探す	                 見つける	         本を探す	            行動	現地...
ダイアログナビ
http://www.microsoft.com/japan/navigator/                                            14
ダイアログナビのユーザインタフェース	システムとユーザを	   大きめのテキストボックス	  示すアイコン	    ⇒自然文による質問の入力を誘導	対話履歴を表示するフレーム	                                  15
ダイアログナビのユーザインタフェース	選択肢(マッチしたテキスト)を表示するフレーム	                     テキストの種類とスコアを	                     アイコンで表示	                ...
A) 対話セッション単位の評価	    成功	            失敗	      範囲外	知識有	 知識無	 知識有	 知識無	 適切	 不適切	 149	   25      15      41 57     91(65%) (11%...
B) ユーザ行動とシステム応答の分布	                                   ユーザ質問の入力	                                    (キーボード)                ...
次のテーマ候補	•  ログ分析手法	  •  ユーザーインタフェース	  •  仕様書を書くための知識	    –  信頼性	    –  コスト	    –  仮想化	  •  他には?	  
マイニング探検会#31 情報検索システムのユーザーのニーズを考える
マイニング探検会#31 情報検索システムのユーザーのニーズを考える
マイニング探検会#31 情報検索システムのユーザーのニーズを考える
マイニング探検会#31 情報検索システムのユーザーのニーズを考える
Upcoming SlideShare
Loading in …5
×

マイニング探検会#31 情報検索システムのユーザーのニーズを考える

2,087 views

Published on

Published in: Technology
  • Login to see the comments

マイニング探検会#31 情報検索システムのユーザーのニーズを考える

  1. 1. 2013年1月11日  マイニング探検会#31  @国立情報学研究所 情報検索システムの   ユーザーのニーズを考える 株式会社ネクスト 技術基盤本部   リッテル研究所   清田 陽司
  2. 2. テストコレクションによる評価のモデル ヒットした  検索質問 入力 情報検索システム 出力 テキストの   集合
  3. 3. 情報検索システムの評価尺度 正解テキスト  (A) ヒットしたテキスト  (B) 正解   かつ   ヒット    (A∩B) A∩ B A∩ B再現率 ( R) = 精度( P) = A B
  4. 4. 現実のWeb検索エンジンの使われ方
  5. 5. 現実のモデル ヒットした  検索質問 入力 情報検索システム 出力 テキストの   集合+α
  6. 6. 情報検索システムにおける   ユーザによる適合性評価   心理学的アプローチに   よる情報行動の実験 (情報の選択的提供)   情報探索行動の分析   情報探索行動の分析   コンテキストにおける  TRECスタイルの研究   TRECインタラクティブ   フィルタリング、SDI   トラックの研究 ログ解析   典型的な   システムへの インタラクティブ情報検索   人間への   フォーカス システムの研究   フォーカス 図1:  情報検索システムの研究アプローチの連続体   (Diane  Kelly  「Methods  for  EvaluaHng  InteracHve  InformaHon  Retrieval  Systems   with  Users」  p.10  より引用  
  7. 7. ユーザーのニーズをどのように扱う? •  検索キーワードに紐付くもの?  •  最終的に探した情報に紐付くもの?  
  8. 8. ニーズを理解するためのヒント •  フレームワーク   –  AISAS、AIDMA  •  ログデータ   –  「どんな価値を提供しているのか」に立ち返って、 適切な評価体系を開発  
  9. 9. さがす目的の階層 用品の買い物先を   塩野七生の   具体的な  ホテルを探す   見つける   本を探す 行動 現地での行動を   バーベキューに   古代ローマに   テーマ 決める   必要なものを探す ついて調べる 旅行先を   自宅で楽しめる   面白そうな   ドメイン   探す レジャーを探す 分野を探す 分野 週末に家族で   未知の分野の   動機 一緒に過ごす 知識を深める 13
  10. 10. ダイアログナビ
http://www.microsoft.com/japan/navigator/ 14
  11. 11. ダイアログナビのユーザインタフェース システムとユーザを 大きめのテキストボックス 示すアイコン ⇒自然文による質問の入力を誘導 対話履歴を表示するフレーム 15
  12. 12. ダイアログナビのユーザインタフェース 選択肢(マッチしたテキスト)を表示するフレーム テキストの種類とスコアを アイコンで表示 16
  13. 13. A) 対話セッション単位の評価 成功 失敗 範囲外 知識有 知識無 知識有 知識無 適切 不適切 149 25 15 41 57 91(65%) (11%) (7%) (18%) 174 (76%) 56 (24%) 148 230 (100%) 378原因: リソースの不足 顕著な失敗例を分析し, • テキスト集合 随時修正・作成 • 同義表現辞書 ⇒成功率 60%台 → 70%台 17
  14. 14. B) ユーザ行動とシステム応答の分布 ユーザ質問の入力 (キーボード) (98回) 計518回 (420回) 32回 66回 261回 159回 対話カード応答 対話カード応答 テキストマッチング テキストマッチング (完結した応答) (選択肢提示) (該当あり) (該当なし)(U: こんにちわ) (U: エラーが発生した) (U: 行を追加したい) (U: サービスパックを S: こんにちは。 S: エラーはいつ発生 S: 以下の選択肢から 入れたい) しますか。 選んでください。 S: 該当する情報を見 つけることができま 平均選択肢数: 平均選択肢数: せんでした。 3.24 14.81 14回 58回 (CARD) 6回 (RET) ユーザの選択 ユーザの選択 (マウス) (マウス) 38回 198回 (SHOW) テキストの表示 18
  15. 15. 次のテーマ候補 •  ログ分析手法  •  ユーザーインタフェース  •  仕様書を書くための知識   –  信頼性   –  コスト   –  仮想化  •  他には?  

×