JJUG CCC リクルートの Java に対する取り組み

リクルートテクノロジーズ宮川
リクルートにおけるソリューション開拓と実装展開〜elasticsearchによる検索基盤と新ソリューションの開拓

2
宮川典久リクルートテクノロジーズ APソリューショングループ
自己紹介
Twitter
@m_nori
出身地
東京
趣味
ロードバイク
ゲーム（最近はMH4G）
折り紙

3
(C) Recruit Technologies Co.,Ltd. All rights reserved.
アジェンダ
1.はじめに
2.次世代検索基盤について
3.サイト展開へ向けての取り組み
4.まとめ

旅行
IT/トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
「選択・意思決定」を支援する情報サービスの提供
→「まだ、ここにない、出会い。」の実現へ
リクルートとは
5

リクルートキャリア
リクルートジョブズ
リクルートスタッフィング
リクルート住まいカンパニー
リクルートライフスタイル
リクルートマーケティングパートナーズ
スタッフサービス・ホールディングス
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社
インフラ部門
大規模プロジェクト推進部門
UI設計/SEO部門
ビッグデータ機能部門
テクノロジーR&D部門
事業・社内IT推進部門
リクルート
ホールディングス
リクルートとは、
主要７事業会社＋３機能会社
で構成されるグループ企業群
6
リクルートテクノロジーズとは

リクルートテクノロジーズの役割
7
開拓
実装、展開
運用
テクノロジー
ライフサイクル
≪テクノロジーへの考え方≫
「開拓」「実装・展開」を経た「運用」でリクルートへの利益貢献を行う。

リクルートテクノロジーズの役割
8
広範囲のビジネスに装着し、効果を最大化させるための改善を行い、事業貢献利益を追究
Rグループのビジネスに短・中期的に実活用の可能性がある技術をリサーチ
対象技術における事業化への検証を行い、評価・選定する
開拓（実活用研究）
実際に事業へ適用し、より広範囲に利用するための型化やスキームを構築
実装・展開
運用
実施内容
リクルートテクノロジーズ（短・中期的視野）
利益を目的としない中長期的な視点に立ち、新技術や新手法の研究/発明を行い、論文発表することを目指す
要素基礎技術の研究
社外（中・長期的視野）
技術数の
推移イメージ
年間約200の技術をリサーチし、約30の技術を評価・選定
年間数個〜10個の
技術を展開
運用フェーズまで
移行された技術が蓄積
無数の新技術を研究/発明

•サイト横断でのアーキテクト領域を担当し、サイトに役立つソリューションを展開するグループ
•社内フレームワークや性能チューニング等をソリューション化し運用している。
•運用だけでなく、技術ベースでサイトに貢献するため、ソリューションの開拓や実装・展開も担う
ASGとATL
9
•新しい技術の開拓や次のトレンドを察知し、未来のサービスに活かせるソリューションを生み出すグループ
•先端技術をベースとしたソリューションを作り、サイト内でフィジビリティを行う。
どちらもリクルートテクノロジーズ内でアプリケーションの開発を担当する組織

ASGとATL
10
技術数の推移イメージ
ATL
ASG
開拓（実活用研究）
実装・展開
運用
テーマによっては最初から協同する

リクルートにおけるJavaへの取り組み
11
多くのサイトでR2FrameworkというJava製の社内フレームワークを使っているため、リクルートはJava非常にお世話になっています！
✖

2．次世代検索基盤について
12

次世代検索基盤とは
13
Query Analyze Search System
リクルート内のサイトに対して
•検索品質
•フィードバック
•検索機能追加
•メトリクスなど提供する次世代検索基盤

アーキテクチャ
14
✖
殆どの機能をelasticsearchのプラグインとして実装

elasticsearchとは
15
オープンソースの全文検索エンジン【特徴】
•Apache Luceneがベース
•リアルタイム性
•スキーマレス
•分散環境
•RESTful API
•楽観的バージョン制御最近はKibanaと組み合わせたログモニタリングによく使われている。
elasticsearch自体については18時からの@johtaniのセッションで詳細に話してくれると思います

体制と役割
16
Qass
サイト提供I/F
検索基本機能
機械学習
インフラ
Qass利用サイト
Hadoop開発
インフラ構築
elasticsearch プラグイン開発
導入支援
タスク
組織
ASG
ATL
BDG
ISG

提供する機能
17
Qass
サイト提供I/F
検索基本機能
機械学習
インフラ
•Suggest
•Results Blending
•Query A/B Test
•Custom Tokenizer
•Query Boosting
•Speller
機能
•User Feed Back
•Dictionary

ユーザーフィードバック
18
ビーコンサーバ
Hadoop基盤

Hadoopによる機械学習の活用
19
機械学習辞書
ビーコンデータ
・入力中のキーイベントを収集
「牛角」の読みが「ぎゅうかく」であることを学習！
牛角
翌日「ぎゅうかく」で検索してみると・・・
※入力途中で「牛角」を入力候補に表示！
検索
※「牛角」に漢字変換してから検索
特殊な読み仮名は通常手動で辞書登録しないと仮名検索ができない例）「ぎゅうかく」と入力
検索ログ

3．サイト展開へ向けての取り組み
20

Suggest+Beacon サーバ
各サイト
Qassのシステム構成
21
APサーバ
Batchサーバ
QassPlugin
Qass Analizer
コンテンツインデックス
シノニム
機械学習辞書
マッピング
HDFS
収集データ
クエリーログ
ビーコンログ
コンテンツデータ
運用管理
Batchサーバ
Qass Analizer
サジェスト
インデックス
集計結果
シノニム
機械学習辞書
マッピング
サジェストデータ

各サイト
通常の検索
22
APサーバ
Batchサーバ
QassPlugin
Qass Analizer
シノニム
機械学習辞書
マッピング
HDFS
収集データ
クエリーログ
ビーコンログ
運用管理
Batchサーバ
Qass Analizer
サジェストインデックス
ユーザ操作は全て Beaconサーバに送信

Suggest+Beacon
サーバ
各サイト
サジェスト
23
APサーバ
Batchサーバ
QassPlugin
Qass Analizer
シノニム
機械学習辞書
マッピング
HDFS
収集データ
クエリーログ
ビーコンログ
運用管理
Batchサーバ
Qass Analizer
サジェスト
インデックス

各サイト
サジェスト
24
APサーバ
Batchサーバ
QassPlugin
Qass Analizer
シノニム
機械学習辞書
マッピング
HDFS
収集データ
クエリーログ
ビーコンログ
運用管理
Batchサーバ
Qass Analizer
サジェスト
インデックス

Suggest+Beacon
サーバ
各サイト
機械学習
25
APサーバ
Batchサーバ
QassPlugin
Qass Analizer
コンテンツ
インデックス
シノニム
機械学習辞書
マッピング
HDFS
収集データ
集計結果
シノニム
機械学習辞書
マッピング
Map/Reduce
サジェストデータ
クエリーログ
ビーコンログ
コンテンツ
データ
運用管理
Batchサーバ
Qass Analizer
サジェストインデックス

更新面の管理
26
プラットフォームとして提供しているため、サイトによってインデックス更新の方針やタイミングが異なるのを実現できるようにする必要がある。
サイトA
日時で差分更新のみ
サイトB
日次の差分更新
＋
月次で全件更新→翌日反映
サイトC 週次で全件更新→月曜朝8時に反映

更新面の管理
27
QassPlugin
ItemIndex001
SearchIndex（Alias）
検索
更新
UpdateIndex（Alias）
インデックスを直接参照するのではなくelasticsearchのAlias機能を活用することで、検索面と更新面を間接的に参照。
ItemIndex002

更新面の管理
28
QassPlugin
ItemIndex001
検索
更新
検索面を表に出すタイミングでAliasの切り替えを実施。インデックス毎に連番でバージョン番号を付けて管理を行う。
ItemIndex002
ItemIndex003
一定期間経過後に削除

辞書更新への対応
29
シノニム
機械学習辞書
マッピング
Qass Analizer
途中から異なる辞書を使うと不整合が発生するため、辞書を反映させるのはインデックスを作り直したタイミングにする必要がある。
焼肉→焼き肉
◯◯焼き肉
△△焼肉
◯◯焼き肉
△△焼き肉
シノニム
機械学習辞書
マッピング
Qass Analizer
焼き肉→焼肉
◯◯焼き肉
△△焼き肉
辞書を更新
□□焼き肉
□□焼肉

辞書更新への対応
30
ItemIndex001
ItemIndex002
ItemIndex003
シノニム
機械学習辞書
マッピング
シノニム
機械学習辞書
マッピング
シノニム
機械学習辞書
マッピング
Dictionary001
Dictionary002
Dictionary003
Qass Analizer
QassPlugin
検索
更新
Indexバージョンごとに辞書セットを作成。各インデックスを使う際にどの辞書を使うかをプラグインにて管理。

Solrからの移行
31
サイト側アプリケーションサーバ
検索 (http)
検索 (http)
Solr
検索式
Solr 検索式
現状多くのサイトで全文検索エンジンとしてSolrを利用している。そのため、プラグイン内でSolrクエリーを解釈することでサイト側は手を入れずに導入を行えるように対応。
SolrとのA/Bテストにも活用！

Java8への対応
33
社内フレームワークのJava8化も行い、各サイトのJava8化に向けて推進しています！ ASGでもATLとも連携し、ライブラリのOSS化も積極的に行っていく予定です！

JJUG CCC リクルートの Java に対する取り組み

More Related Content

What's hot

Viewers also liked

Similar to JJUG CCC リクルートの Java に対する取り組み

More from Recruit Technologies

JJUG CCC リクルートの Java に対する取り組み