MobileClick-2 キックオフイベントのスライド

1. NTCIR-12 MobileClick-2
モバイル情報検索タスク
加藤 誠（京都大学）
Virgil Pavlu (Northeastern University)
酒井 哲也（早稲田大学）
山本 岳洋（京都大学）

2. 2
モバイル検索の
現状

3. "NTCIR"
3
NTCIRとは?
あなたの検索スコア
クリック数: 2
検索時間: 00:31

4. "NTCIR"
4
NTCIRの締切は
いつ?
あなたの検索スコア
クリック数: 2
検索時間: 00:29

5. 5
秒は
長すぎる

6. 6
MobileClick
なら
こうなる

7. "NTCIR"
7
NTCIRとは?
Home | NTCIR
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-12
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan
NTCIR-12 News
NTCIR-12 Schedule
NTCIR-12 Tasks
あなたの検索スコア
クリック数: 0
検索時間: 00:03

8. "NTCIR"
8
NTCIRの締切は
いつ? Home | NTCIR
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-12
Held on June 9(Tue)-12(Fri), 2016
at National Center of Sciences, Tokyo, Japan
NTCIR-12 News
NTCIR-12 Schedule
NTCIR-12 Tasks
NTCIR-12 Schedule
20/Jan./2016: Task Registration Due
06/Jan./2016: Document Set Release
Jan.-May/2016: Dry Run
Mar.-July/2016: Formal Run
01/Aug./2016: Evaluation Results Due
01/Aug./2016: Task overview release
15/Sep./2016: Paper submission Due
01/Nov./2016: All paper Due
09-12/Dec./2016: NTCIR-11 Conference
あなたの検索スコア
クリック数: 1
検索時間: 00:15

9. "NTCIR"
9
When is
the deadline
of NTCIR? Home | NTCIR
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-11
http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News
http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
20/Jan./2014: Task Registration Due
06/Jan./2014: Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014: Formal Run
01/Aug./2014: Evaluation Results Due
01/Aug./2014: Early draft Task overview release
15/Sep./2014: Draft paper submission Due
01/Nov./2014: All camera-ready paper Due
09-12/Dec./2014: NTCIR-11 Conference
Your Search Score
Clicks: 1
Time: 00:15
MobileClickの目標
モバイルユーザが
必要な情報へ直接・即時に
アクセスできるようにすること

10. "NTCIR"
10
When is
the deadline
of NTCIR? Home | NTCIR
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-11
http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News
http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
20/Jan./2014: Task Registration Due
06/Jan./2014: Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014: Formal Run
01/Aug./2014: Evaluation Results Due
01/Aug./2014: Early draft Task overview release
15/Sep./2014: Draft paper submission Due
01/Nov./2014: All camera-ready paper Due
09-12/Dec./2014: NTCIR-11 Conference
Your Search Score
Clicks: 1
Time: 00:15
MobileClick-1との違い
• 日英で2種類のサブタスク
• iUnitsを提供（抽出不要）
• 速やかなフィードバック
• リーダーボード
• クエリ頻度の提供（予定）

11. • クエリとiUnit集合が与えられたとき
iUnitを推定された重要度順にランキング
注: iUnitはクエリ対して適合する情報の断片
iUnit Rankingサブタスク
11
iUnit
評価ワークショップ
情報アクセス技術研究の促進が目的
2016年6月20日が参加登録締切
NTCIR
Input: Query
Input: iUnit set
iUnit
1 評価ワークショップ
2 2016年6月20日が参加登録締切
3 情報アクセス技術研究の促進が目的
… …
Output: iUnit list
nDCG
0.5
文書ではなく文字列の重要度を推定
研究課題

12. • クエリ，iUnit集合，サブトピックが与えられたとき
2層の要約を生成
iUnit Summarizationサブタスク
12
iUnit
評価ワークショップ
情報アクセス技術研究の促進が目的
…
NTCIR
Input: Query
Input: iUnit set
Subtopics
ニュース
スケジュール
…
Input: Subtopics
M-measure
0.5
NTCIRは情報検索・要
約・抽出，質問応答な
どの情報アクセス技術
研究を促進するために
デザインされた評価
ワークショップです．
ニュース
スケジュール
タスク
2nd layer
20/Jan./2016: Task Registration Due
06/Jan./2016: Document Set Release
Jan.-May/2016: Dry Run
Mar.-July/2016: Formal Run
01/Aug./2016: Evaluation Results Due
01/Aug./2016: Task overview release
15/Sep./2016: Paper submission Due
01/Nov./2016: All paper Due
09-12/Dec./2016: NTCIR-11 Conference
Output: Two-layered summary
モバイル情報アクセス
のために設計された
評価指標
どのユーザも即材に満足できるように
iUnitを配置（IMineタスクに類似）
研究課題

13. Q. いつ評価結果が見られますか？
A. システム出力を投稿したらすぐ見られます
リーダーボードシステム
13
結果が出た すごい
結果だ！
投稿
フィードバック
• 2015年4月より訓練クエリ用評価システム公開
• 2015年8月よりテストクエリ用評価システム公開
リーダーボード

14. • 以下のトピックに興味がある方
– モバイル情報アクセス
– 意図推定
– 多様化
– 要約
– 質問応答
– ナゲットベース評価
• 以下のタスクの参加者の皆様
– 1CLICKタスク
– INTENT，IMineタスク
– RITEタスク
以下に当てはまる方はぜひ参加を検討ください
14

15. 月 イベント
2015年4月
CFP第1段
訓練クエリ用評価システム公開
2015年6月 参加登録締切
2015年8月
テストクエリ公開
テストクエリ用評価システム公開
2015年12月 システム結果投稿締切
2016年3月 参加者論文投稿締切
2016年6月 NTCIR-12 Conference
MobileClick-2スケジュール
15

16. "NTCIR"
16
When is
the deadline
of NTCIR? Home | NTCIR
http://research.nii.ac.jp/ntcir/
The NTCIR Workshop is a series of evaluation
workshops designed to enhance research in
information access technologies including
information retrieval, summarization, extraction,
question answering, etc.
NTCIR-11
http://research.nii.ac.jp/ntcir/
Held on December 9(Tue)-12(Fri), 2014
at National Center of Sciences, Tokyo, Japan
NTCIR-11 News
http://research.nii.ac.jp/ntcir/news
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
NTCIR-11 Tasks
http://research.nii.ac.jp/ntcir/tasks
NTCIR-11 Schedule
http://research.nii.ac.jp/ntcir/schedule
20/Jan./2014: Task Registration Due
06/Jan./2014: Document Set Release
Jan.-May/2014: Dry Run
Mar.-July/2014: Formal Run
01/Aug./2014: Evaluation Results Due
01/Aug./2014: Early draft Task overview release
15/Sep./2014: Draft paper submission Due
01/Nov./2014: All camera-ready paper Due
09-12/Dec./2014: NTCIR-11 Conference
Your Search Score
Clicks: 1
Time: 00:15
MobileClick-2
無駄のない高速な
モバイル情報アクセスを実現
2015年4月
http://www.mobileclick.org/
で訓練用評価システム公開予定
2015年8月 - 2015年12月
リアルタイム評価実施