SlideShare a Scribd company logo
www.elastic.co/jp
C A S E S T U D Y
リクルートテクノロジーズ、全社検索基盤、
プッシュ通知基盤、サービスの可視化
Elasticsearchを採用することで、検索基盤の検索性能や更
新性能の向上、プッシュ通知基盤の運用負荷の軽減、
アドホックな可視化要望への対応などを実現した。
3つのサービス基盤でElasticsearchを活用
リクルートテクノロジーズは、IT・ネットマーケティング領域でリクルートグループのビジネ
スを進化させることをミッションに、次世代技術のR&D・新ソリューションの開拓やビジネ
スの実装に取り組んでいる。
リクルートテクノロジーズ インフラソリューション2部の中原裕成氏は、「新しい技術の“開
拓、実装・展開、運用”というテクノロジーサイクルを回すことで、リクルート全体の利益に
貢献することが役割です」と語る。
取り組みの一環として、(1)サイト内検索に活用するための全社検索基盤「QASS(Query
Analytics Search System)」、(2)リアルタイムな検索要件に活用するための全社プッシュ
通知基盤「Pusna-RS(パスナ‐RS)」、(3)ポンパレやホットペッパーなど、リクルートグル
ープが展開するサービスサイトの「サービスの可視化」という大きく3つの分野を実現する
ためのサービス基盤の実現にElasticsearchを活用している。
企業名
株式会社リクルートテクノロジーズ
場所
Tokyo Japan
区分
サービス
製品
Elasticスタック
全文検索、可視化
20 2 400台
クラスタの数
億
ドキュメント総数
GB
総データサイズ
「QASSにElasticsearchを採用することで、更新性能や検索
性能、サイトごとのカスタマイズ性の向上が可能になりま
す。またPusna-RSにElasticsearchを採用することで、リアル
タイムの更新やクラスタ運用の負荷軽減が可能です。さら
にサービスの可視化にElasticsearchを採用することで、可
視化の運用負荷の低減、アドホックな可視化要望への対応
が期待できます」
- 中原氏
“
www.elastic.co/jp
C A S E S T U D Y
Elasticsearchで全社検索基盤を構築
リクルートでは、複数のサービスサイトを運営しているが、サービスサイトの検索エンジン
としてApache Solrを採用していた。各サービスサイトは、それぞれ専用の検索エンジンを
持つ構成になっており、各検索エンジンが協調したり、データを連携したりする仕組みは
持っていなかった。そのためすべてのサイトに同じドキュメントを登録する必要があり、同
じ更新作業を検索エンジンの数だけ実施しなければならいなどの課題があった。
中原氏は、「サービスサイトと検索エンジンが1対1の構成のままでは、データの管理が煩
雑な状況でした。そこで全社統一の検索基盤を構築し、すべてのサービスサイトがそれを
利用する構成に移行することで、最適な検索結果を提供できる環境の実現を目指しまし
た。また検索品質の継続的な向上も必要でした。最適な検索結果の提供と検索品質の向
上を実現するプロジェクトとしてQASSがスタートしました」と当時を振り返る。
QASSのアーキテクチャとしては、エンドユーザーが各サービスサイトで検索をすると、各検
索サイトからQASSに検索クエリが投げられ、QASSから検索要件に応じた検索結果が返さ
れる仕組みを目指している。しかしApache Solrでは、求める検索性能や更新性能を得る
ことができなかった。中原氏は、「ドキュメント数が増加したときのパフォーマンスの劣化
やノード数が増加したときの更新時間が課題でした」と話す。
またQASSプロジェクトでは、検索結果を分析し、その分析内容をもとにチューニングを行
うことで、定期的に検索品質を向上させることを目的とした検索結果分析基盤をHadoop
やSparkを利用して構築している。さらに検索結果を分析する専門のチームを編成するこ
とで、QASSから得られた分析結果をもとに、どのようにチューニングを行えば検索品質を
向上できるかを日々検討している。
中原氏は、「QASSにより膨大なデータを収集できたので、ユーザーの行動(検索)に応じ
た機械学習を行い、自動的に検索品質を向上する仕組みを実現できました。また集約さ
れた検索結果の知見を、サジェスト基盤や検索ロジックの可視化、改善効果の可視化など
の機能に利用しています。このように、QASSを中心とした検索エコシステムが確立されて
おり、その中核としてElasticsearchが有効活用されています」と話している。
「以前からElasticsearchに注目していたのですが、ちょうど
流行りはじめたという話を聞いたので、QASSの検索エンジ
ンとしてElasticsearchを採用することを決めました。Solrに
も、SolrCloudと呼ばれるクラスタリングによる負荷分散の
仕組みがありましたが、ElasticsearchはApache ZooKeeper
を使うことなく、単体でクラスタ構成を実現できるメリット
があり、運用負荷を低減することを評価しました。」
- 中原氏
“
www.elastic.co/jp
C A S E S T U D Y
Elasticsearchでプッシュ通知基盤を構築
Elasticsearchは、QASSだけでなく、全社プッシュ通知基盤であるPusna-RSにも採用され
ている。プッシュ通知とは、メッセージを送る相手がスマートフォンアプリを起動していな
くても通知を送ることができる仕組みである。プッシュ通知は、開封率が高いことから、メ
ルマガに代わる販促ツールとして注目されている。
プッシュ通知のメリットは、リアルタイムに情報を配信できること、ユーザーのアクティブ
率を向上できること、休眠ユーザーを再起できることなど。一方、デメリットは、過剰なプッ
シュ通知によるユーザー離れのリスクや実装に工数がかかることなどだ。この実装に工数
がかかるというデメリットを解消することを目的にPusna-RSが開発された。
Pusna-RSのすべての機能は、アマゾン ウェブ サービス(AWS)上に構成されている。
中核となるデータストアの部分は、Amazon DynamoDB(DynamoDB)とElasticsearch
の連携で実現されている。中原氏は、「Pusna-RSでは、複雑なデータ構造が不要なの
で、DynamoDBを利用して、すべてのデータをキーバリューストアで管理しています」と語
る。
DynamoDBの特長は、並列スキャンによる高速な全件データを抽出が可能なこと。ただ
しDynamoDBは、データ検索が得意ではないため、それを補完する検索エンジンとして
Elasticsearchを利用している。Solrの利用も検討したが、リアルタイム更新が可能なことか
らElasticsearchが採用された。
中原氏は、「Pusna-RSでは、Elasticsearchを全文検索エンジンとは少し違う使い方をして
います。具体的には、同じデータをDynamoDBとElasticsearchに保存しておき、単件、全件
の抽出はDynamoDBから、条件指定や検索はElasticsearchからと、用途に応じて適した
データソースを使い分けています」と話している。
各サービスの可視化
QASSおよびPusna-RSでは、用途に応じてデータを整理、投入、可視化している。QASSで
は、結果分析基盤から、検索結果の分析を行い、分析結果をElasticsearchに投入して、検
索効果をKibanaで可視化している。一方、Pusna-RSでは、各サービスノードからfluentd
でログをElasticsearchに転送し、そのログをベースに各サービスで利用している指標を
Kibanaで可視化している。
QASSの可視化では、検索基盤チームがKibanaのダッシュボードを利用して指標を可視化
している。どのような検索ワードが使われているのか、アルゴリズムを変更したときに検索
の順位がどのように変化したかを利用者側に提示し、そのフィードバックを検索基盤に生
かしていくというサイクルを回すことで、自動的な検索品質の向上だけでなく、手作業によ
る検索品質の向上にも可視化を活用している。
Pusna-RSの可視化についても同様に、プッシュ通知の状況やプッシュ通知によりデバイス
が起動されたかどうかなどを、Kibanaで可視化している。これにより、プッシュ通知の効果
的な時間帯や内容の解析や改善に活用している。中原氏は、「QASSやPusna-RSの可視化
だけでなく、可視化で得た知見をAdobeのReports&Analyticsやウェブサーバーログ、ウェ
ブビーコンなど、別のデータソースの可視化にも横展開しています」と話している。
www.elastic.co/jp
C A S E S T U D Y
お問い合わせはelastic-japan@elastic.co
までお願いします
Elasticsearchの運用ノウハウと注意点
Elasticsearchの導入により得られた運用ノウハウについて中原氏は、次のように語る。
「Elasticsearchには、さまざまな有効な機能がありますが、中でも(1)プラグイン機構の
利用、(2)スナップショット機構の利用、(3)環境にあわせたインデックス作成という3つ
の機能は特に有効でした」
(1)プラグイン機構の利用では、Elasticsearchに標準で搭載されているプラグイン機構
を利用して、インデキシングの最適化を実現し、QASS独自のプラグイン機構で動的プラグ
イン更新を実現。サービスサイトの運営に影響を及ぼすことなく、A/Bテストなどを実施し
て、検索改善を実施できる仕組みを実現している。
また(2)スナップショット機構の利用では、スナップショット/リストアAPIをJenkinsで定
期的に実行することで、サービス用クラスタの複製を作成し、検索改善を行っている。内部
では、検索改善用のクラスタをデータサイエンティストに提供し、アルゴリズムの変更が検
索結果にどのように影響するか、実データを使って検証している。
さらに(3)環境にあわせたインデックス作成では、クラウド環境とオンプレミス環境で、
異なるインデックスの作成方法を採用している。
「クラウド環境では、特性を生かしてBlue-Greenデプロイメントでクラスタごとにインデッ
クスを再構築しています。これにより、実環境に負荷をかけることなくインデックスを再構
築できます。一方、オンプレミス環境では、エイリアスを利用して、検索サービスに影響を
及ぼすことなくインデックスをデプロイしています」(中原氏)。
Elasticsearch運用時の注意点について中原氏は、「Elasticsearchは、頻繁にバージョンア
ップがあるので、なるべく最新バージョンを利用するようにしています。バージョンアップの
ときには、2つのバージョンのクラスタを準備して、古いバージョンを切り離すという作業を
しています。バージョンによりAPIやレスポンスが変更されているので、計画的に実施する
ことをおすすめします」と話している。

More Related Content

Similar to Elastic事例 リクルートテクノロジーズ

Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006
Shotaro Suzuki
 
Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...
Shotaro Suzuki
 
Elastichelps fintechenablesdx usingaibasedautomationand anomalydetection
Elastichelps fintechenablesdx usingaibasedautomationand anomalydetectionElastichelps fintechenablesdx usingaibasedautomationand anomalydetection
Elastichelps fintechenablesdx usingaibasedautomationand anomalydetection
Shotaro Suzuki
 
Building modernapplicationwithelasiccloud
Building modernapplicationwithelasiccloudBuilding modernapplicationwithelasiccloud
Building modernapplicationwithelasiccloud
Shotaro Suzuki
 
Evolution of Observability and APM with using Elastic and Microsoft Azure
Evolution of Observability and APM with using Elastic and Microsoft AzureEvolution of Observability and APM with using Elastic and Microsoft Azure
Evolution of Observability and APM with using Elastic and Microsoft Azure
Shotaro Suzuki
 
Centralized Observability for the Azure Ecosystem
Centralized Observability for the Azure EcosystemCentralized Observability for the Azure Ecosystem
Centralized Observability for the Azure Ecosystem
Shotaro Suzuki
 
Migrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapmMigrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapm
Shotaro Suzuki
 
Building asp.net core blazor and elasticsearch elasticsearch using visual stu...
Building asp.net core blazor and elasticsearch elasticsearch using visual stu...Building asp.net core blazor and elasticsearch elasticsearch using visual stu...
Building asp.net core blazor and elasticsearch elasticsearch using visual stu...
Shotaro Suzuki
 
アドテクスタジオのデータ分析基盤について
アドテクスタジオのデータ分析基盤についてアドテクスタジオのデータ分析基盤について
アドテクスタジオのデータ分析基盤について
kazuhiro ito
 
Big query and elasticsearch insight at scale
Big query and elasticsearch insight at scaleBig query and elasticsearch insight at scale
Big query and elasticsearch insight at scale
Shotaro Suzuki
 
Utilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecasesUtilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecases
Shotaro Suzuki
 
What's New in the Elastic 8.4 Release
What's New in the Elastic 8.4 ReleaseWhat's New in the Elastic 8.4 Release
What's New in the Elastic 8.4 Release
Shotaro Suzuki
 
Azure kobebase lt-20201120
Azure kobebase lt-20201120Azure kobebase lt-20201120
Azure kobebase lt-20201120
Shotaro Suzuki
 
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
Shotaro Suzuki
 
Building Software Reliability through Distributed Tracing.pdf
Building Software Reliability through Distributed Tracing.pdfBuilding Software Reliability through Distributed Tracing.pdf
Building Software Reliability through Distributed Tracing.pdf
Shotaro Suzuki
 
Elastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-videoElastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-video
Shotaro Suzuki
 
Liquid studio Tokyo Accenture
Liquid studio Tokyo AccentureLiquid studio Tokyo Accenture
Liquid studio Tokyo Accenture
Accenture Japan
 
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-finalMoving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
Shotaro Suzuki
 
Introducing the new features of the Elastic 8.6 release.pdf
Introducing the new features of the Elastic 8.6 release.pdfIntroducing the new features of the Elastic 8.6 release.pdf
Introducing the new features of the Elastic 8.6 release.pdf
Shotaro Suzuki
 
20180119_5_IoT Update_20180119
20180119_5_IoT Update_2018011920180119_5_IoT Update_20180119
20180119_5_IoT Update_20180119
IoTビジネス共創ラボ
 

Similar to Elastic事例 リクルートテクノロジーズ (20)

Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006
 
Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...
 
Elastichelps fintechenablesdx usingaibasedautomationand anomalydetection
Elastichelps fintechenablesdx usingaibasedautomationand anomalydetectionElastichelps fintechenablesdx usingaibasedautomationand anomalydetection
Elastichelps fintechenablesdx usingaibasedautomationand anomalydetection
 
Building modernapplicationwithelasiccloud
Building modernapplicationwithelasiccloudBuilding modernapplicationwithelasiccloud
Building modernapplicationwithelasiccloud
 
Evolution of Observability and APM with using Elastic and Microsoft Azure
Evolution of Observability and APM with using Elastic and Microsoft AzureEvolution of Observability and APM with using Elastic and Microsoft Azure
Evolution of Observability and APM with using Elastic and Microsoft Azure
 
Centralized Observability for the Azure Ecosystem
Centralized Observability for the Azure EcosystemCentralized Observability for the Azure Ecosystem
Centralized Observability for the Azure Ecosystem
 
Migrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapmMigrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapm
 
Building asp.net core blazor and elasticsearch elasticsearch using visual stu...
Building asp.net core blazor and elasticsearch elasticsearch using visual stu...Building asp.net core blazor and elasticsearch elasticsearch using visual stu...
Building asp.net core blazor and elasticsearch elasticsearch using visual stu...
 
アドテクスタジオのデータ分析基盤について
アドテクスタジオのデータ分析基盤についてアドテクスタジオのデータ分析基盤について
アドテクスタジオのデータ分析基盤について
 
Big query and elasticsearch insight at scale
Big query and elasticsearch insight at scaleBig query and elasticsearch insight at scale
Big query and elasticsearch insight at scale
 
Utilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecasesUtilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecases
 
What's New in the Elastic 8.4 Release
What's New in the Elastic 8.4 ReleaseWhat's New in the Elastic 8.4 Release
What's New in the Elastic 8.4 Release
 
Azure kobebase lt-20201120
Azure kobebase lt-20201120Azure kobebase lt-20201120
Azure kobebase lt-20201120
 
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
Developers-Summit-2022_Improving-Digital-Customer-Experience-with-Enterprise_...
 
Building Software Reliability through Distributed Tracing.pdf
Building Software Reliability through Distributed Tracing.pdfBuilding Software Reliability through Distributed Tracing.pdf
Building Software Reliability through Distributed Tracing.pdf
 
Elastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-videoElastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-video
 
Liquid studio Tokyo Accenture
Liquid studio Tokyo AccentureLiquid studio Tokyo Accenture
Liquid studio Tokyo Accenture
 
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-finalMoving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
 
Introducing the new features of the Elastic 8.6 release.pdf
Introducing the new features of the Elastic 8.6 release.pdfIntroducing the new features of the Elastic 8.6 release.pdf
Introducing the new features of the Elastic 8.6 release.pdf
 
20180119_5_IoT Update_20180119
20180119_5_IoT Update_2018011920180119_5_IoT Update_20180119
20180119_5_IoT Update_20180119
 

Recently uploaded

ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
Yuki Miyazaki
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
Osaka University
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
ARISE analytics
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
sugiuralab
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
kitamisetagayaxxx
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 

Recently uploaded (10)

ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 

Elastic事例 リクルートテクノロジーズ

  • 1. www.elastic.co/jp C A S E S T U D Y リクルートテクノロジーズ、全社検索基盤、 プッシュ通知基盤、サービスの可視化 Elasticsearchを採用することで、検索基盤の検索性能や更 新性能の向上、プッシュ通知基盤の運用負荷の軽減、 アドホックな可視化要望への対応などを実現した。 3つのサービス基盤でElasticsearchを活用 リクルートテクノロジーズは、IT・ネットマーケティング領域でリクルートグループのビジネ スを進化させることをミッションに、次世代技術のR&D・新ソリューションの開拓やビジネ スの実装に取り組んでいる。 リクルートテクノロジーズ インフラソリューション2部の中原裕成氏は、「新しい技術の“開 拓、実装・展開、運用”というテクノロジーサイクルを回すことで、リクルート全体の利益に 貢献することが役割です」と語る。 取り組みの一環として、(1)サイト内検索に活用するための全社検索基盤「QASS(Query Analytics Search System)」、(2)リアルタイムな検索要件に活用するための全社プッシュ 通知基盤「Pusna-RS(パスナ‐RS)」、(3)ポンパレやホットペッパーなど、リクルートグル ープが展開するサービスサイトの「サービスの可視化」という大きく3つの分野を実現する ためのサービス基盤の実現にElasticsearchを活用している。 企業名 株式会社リクルートテクノロジーズ 場所 Tokyo Japan 区分 サービス 製品 Elasticスタック 全文検索、可視化 20 2 400台 クラスタの数 億 ドキュメント総数 GB 総データサイズ 「QASSにElasticsearchを採用することで、更新性能や検索 性能、サイトごとのカスタマイズ性の向上が可能になりま す。またPusna-RSにElasticsearchを採用することで、リアル タイムの更新やクラスタ運用の負荷軽減が可能です。さら にサービスの可視化にElasticsearchを採用することで、可 視化の運用負荷の低減、アドホックな可視化要望への対応 が期待できます」 - 中原氏 “
  • 2. www.elastic.co/jp C A S E S T U D Y Elasticsearchで全社検索基盤を構築 リクルートでは、複数のサービスサイトを運営しているが、サービスサイトの検索エンジン としてApache Solrを採用していた。各サービスサイトは、それぞれ専用の検索エンジンを 持つ構成になっており、各検索エンジンが協調したり、データを連携したりする仕組みは 持っていなかった。そのためすべてのサイトに同じドキュメントを登録する必要があり、同 じ更新作業を検索エンジンの数だけ実施しなければならいなどの課題があった。 中原氏は、「サービスサイトと検索エンジンが1対1の構成のままでは、データの管理が煩 雑な状況でした。そこで全社統一の検索基盤を構築し、すべてのサービスサイトがそれを 利用する構成に移行することで、最適な検索結果を提供できる環境の実現を目指しまし た。また検索品質の継続的な向上も必要でした。最適な検索結果の提供と検索品質の向 上を実現するプロジェクトとしてQASSがスタートしました」と当時を振り返る。 QASSのアーキテクチャとしては、エンドユーザーが各サービスサイトで検索をすると、各検 索サイトからQASSに検索クエリが投げられ、QASSから検索要件に応じた検索結果が返さ れる仕組みを目指している。しかしApache Solrでは、求める検索性能や更新性能を得る ことができなかった。中原氏は、「ドキュメント数が増加したときのパフォーマンスの劣化 やノード数が増加したときの更新時間が課題でした」と話す。 またQASSプロジェクトでは、検索結果を分析し、その分析内容をもとにチューニングを行 うことで、定期的に検索品質を向上させることを目的とした検索結果分析基盤をHadoop やSparkを利用して構築している。さらに検索結果を分析する専門のチームを編成するこ とで、QASSから得られた分析結果をもとに、どのようにチューニングを行えば検索品質を 向上できるかを日々検討している。 中原氏は、「QASSにより膨大なデータを収集できたので、ユーザーの行動(検索)に応じ た機械学習を行い、自動的に検索品質を向上する仕組みを実現できました。また集約さ れた検索結果の知見を、サジェスト基盤や検索ロジックの可視化、改善効果の可視化など の機能に利用しています。このように、QASSを中心とした検索エコシステムが確立されて おり、その中核としてElasticsearchが有効活用されています」と話している。 「以前からElasticsearchに注目していたのですが、ちょうど 流行りはじめたという話を聞いたので、QASSの検索エンジ ンとしてElasticsearchを採用することを決めました。Solrに も、SolrCloudと呼ばれるクラスタリングによる負荷分散の 仕組みがありましたが、ElasticsearchはApache ZooKeeper を使うことなく、単体でクラスタ構成を実現できるメリット があり、運用負荷を低減することを評価しました。」 - 中原氏 “
  • 3. www.elastic.co/jp C A S E S T U D Y Elasticsearchでプッシュ通知基盤を構築 Elasticsearchは、QASSだけでなく、全社プッシュ通知基盤であるPusna-RSにも採用され ている。プッシュ通知とは、メッセージを送る相手がスマートフォンアプリを起動していな くても通知を送ることができる仕組みである。プッシュ通知は、開封率が高いことから、メ ルマガに代わる販促ツールとして注目されている。 プッシュ通知のメリットは、リアルタイムに情報を配信できること、ユーザーのアクティブ 率を向上できること、休眠ユーザーを再起できることなど。一方、デメリットは、過剰なプッ シュ通知によるユーザー離れのリスクや実装に工数がかかることなどだ。この実装に工数 がかかるというデメリットを解消することを目的にPusna-RSが開発された。 Pusna-RSのすべての機能は、アマゾン ウェブ サービス(AWS)上に構成されている。 中核となるデータストアの部分は、Amazon DynamoDB(DynamoDB)とElasticsearch の連携で実現されている。中原氏は、「Pusna-RSでは、複雑なデータ構造が不要なの で、DynamoDBを利用して、すべてのデータをキーバリューストアで管理しています」と語 る。 DynamoDBの特長は、並列スキャンによる高速な全件データを抽出が可能なこと。ただ しDynamoDBは、データ検索が得意ではないため、それを補完する検索エンジンとして Elasticsearchを利用している。Solrの利用も検討したが、リアルタイム更新が可能なことか らElasticsearchが採用された。 中原氏は、「Pusna-RSでは、Elasticsearchを全文検索エンジンとは少し違う使い方をして います。具体的には、同じデータをDynamoDBとElasticsearchに保存しておき、単件、全件 の抽出はDynamoDBから、条件指定や検索はElasticsearchからと、用途に応じて適した データソースを使い分けています」と話している。 各サービスの可視化 QASSおよびPusna-RSでは、用途に応じてデータを整理、投入、可視化している。QASSで は、結果分析基盤から、検索結果の分析を行い、分析結果をElasticsearchに投入して、検 索効果をKibanaで可視化している。一方、Pusna-RSでは、各サービスノードからfluentd でログをElasticsearchに転送し、そのログをベースに各サービスで利用している指標を Kibanaで可視化している。 QASSの可視化では、検索基盤チームがKibanaのダッシュボードを利用して指標を可視化 している。どのような検索ワードが使われているのか、アルゴリズムを変更したときに検索 の順位がどのように変化したかを利用者側に提示し、そのフィードバックを検索基盤に生 かしていくというサイクルを回すことで、自動的な検索品質の向上だけでなく、手作業によ る検索品質の向上にも可視化を活用している。 Pusna-RSの可視化についても同様に、プッシュ通知の状況やプッシュ通知によりデバイス が起動されたかどうかなどを、Kibanaで可視化している。これにより、プッシュ通知の効果 的な時間帯や内容の解析や改善に活用している。中原氏は、「QASSやPusna-RSの可視化 だけでなく、可視化で得た知見をAdobeのReports&Analyticsやウェブサーバーログ、ウェ ブビーコンなど、別のデータソースの可視化にも横展開しています」と話している。
  • 4. www.elastic.co/jp C A S E S T U D Y お問い合わせはelastic-japan@elastic.co までお願いします Elasticsearchの運用ノウハウと注意点 Elasticsearchの導入により得られた運用ノウハウについて中原氏は、次のように語る。 「Elasticsearchには、さまざまな有効な機能がありますが、中でも(1)プラグイン機構の 利用、(2)スナップショット機構の利用、(3)環境にあわせたインデックス作成という3つ の機能は特に有効でした」 (1)プラグイン機構の利用では、Elasticsearchに標準で搭載されているプラグイン機構 を利用して、インデキシングの最適化を実現し、QASS独自のプラグイン機構で動的プラグ イン更新を実現。サービスサイトの運営に影響を及ぼすことなく、A/Bテストなどを実施し て、検索改善を実施できる仕組みを実現している。 また(2)スナップショット機構の利用では、スナップショット/リストアAPIをJenkinsで定 期的に実行することで、サービス用クラスタの複製を作成し、検索改善を行っている。内部 では、検索改善用のクラスタをデータサイエンティストに提供し、アルゴリズムの変更が検 索結果にどのように影響するか、実データを使って検証している。 さらに(3)環境にあわせたインデックス作成では、クラウド環境とオンプレミス環境で、 異なるインデックスの作成方法を採用している。 「クラウド環境では、特性を生かしてBlue-Greenデプロイメントでクラスタごとにインデッ クスを再構築しています。これにより、実環境に負荷をかけることなくインデックスを再構 築できます。一方、オンプレミス環境では、エイリアスを利用して、検索サービスに影響を 及ぼすことなくインデックスをデプロイしています」(中原氏)。 Elasticsearch運用時の注意点について中原氏は、「Elasticsearchは、頻繁にバージョンア ップがあるので、なるべく最新バージョンを利用するようにしています。バージョンアップの ときには、2つのバージョンのクラスタを準備して、古いバージョンを切り離すという作業を しています。バージョンによりAPIやレスポンスが変更されているので、計画的に実施する ことをおすすめします」と話している。