検索エンジン開発 by Petrie Wong@Yahoo! JAPAN Internship MEETUP 20180823

1. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
2018年8月27日
サイエンス1本部 Petrie Wong
検索エンジン開発

2. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo! JAPANと検索エンジン
2
Yahoo! JAPANでは多種多様なサービスが
利用されており、多くのサービスでデータ
の検索をサポート

3. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
ヤフーと大規模データ
• Yahoo! JAPANのサービ
スは大規模
• 例：Yahoo!ショッピング
• 昨年：商品数2.9億件
• 増えてる
3

4. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 4
• Yahoo! JAPAN
のサービスは多
種多様
• 検索エンジンに
は汎用性も必要
ヤフーとサービスの多様性

5. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
もし検索性能が悪いと
• 検索が遅い &
検索結果が汚い
• 検索体験が悪く
なる
• ユーザが離れる
5

6. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Apache Solr
6
• Apache Top Project の
OSS 検索エンジン
• 世界の様々なサービスが利用
• 例）ebay、NETFLIX、Flipkart
• 活発なコミュニティによる継続的な機能
追加・性能改善

7. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの貢献
• SOLR-9592 部分更新
の100倍高速化
• SOLR-10811
QuickScorerの実装
7
SOLR-9592 SOLR-9612 SOLR-10528
SOLR-10811 SOLR-11009 SOLR-11106
SOLR-11107 SOLR-11163 SOLR-11164
SOLR-11180 SOLR-11220 SOLR-11187
SOLR-11250 SOLR-11302 SOLR-11470
SOLR-11513 SOLR-11656 SOLR-11727
SOLR-11903 SOLR-12518 …

8. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの貢献
8
• Lucene/Solr Revolution スポンサー

9. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
アカデミックな知見の活用
9
• 論文を参考する
• QuickScorer：SIGIR15 の Best Paper
• 論文を書く
• SIGIR2017 で発表

10. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
アカデミックな知見の活用
• SIGIR2018
eCom
DataChallenge
• Yahoo! JAPAN
チーム
• 2位で
10

11. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
アカデミックな知見の活用
11
• Workshop Paper を発表

12. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
海外のカンファレンスへの参加
12

13. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
以上