モノタロウの1900万商品を検索する Elasticsearch構築運用事例（2022-10-26 第50回Elasticsearch 勉強会発表資料）
•
0 likes•720 views
「モノタロウの1900万商品を検索するElasticsearch構築運用事例」として、2022年10月26日に「第50回 Elasticsearch 勉強会」にて発表した内容の資料です。 モノタロウの商品検索の仕組みや、取り入れた工夫について説明しています。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to モノタロウの1900万商品を検索する Elasticsearch構築運用事例（2022-10-26 第50回Elasticsearch 勉強会発表資料）
Similar to モノタロウの1900万商品を検索する Elasticsearch構築運用事例（2022-10-26 第50回Elasticsearch 勉強会発表資料） (20)
More from 株式会社MonotaRO Tech Team
More from 株式会社MonotaRO Tech Team (20)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例（2022-10-26 第50回Elasticsearch 勉強会発表資料）
- 1. モノタロウの1900万商品を検索する Elasticsearch構築運用事例 株式会社MonotaRO ECシステムエンジニアリング部門 EC基盤グループ サーチチーム 山村 武司 1 2022.10.26 第50回 Elasticsearch 勉強会 © 2020 MonotaRO Co., Ltd. All Rights Reserved.
- 2. ● 株式会社MonotaRO ECシステムエンジニアリング部門 EC基盤グループ ● サーチチーム リーダー ● 2011年よりモノタロウで検索関係を担当 ● フロントエンジニアから 気づいたらサーチエンジニアに ● 入社の動機は 「大きな倉庫があったから」 2 自己紹介 （山村 武司） https://note.com/monotaro_note/n/n96d5874d3190
- 3. MonotaRO（モノタロウ） とはどういう会社か？ 3 BtoB を対象に、 自ら間接資材の在庫を持ち、 自らオンラインで売るEC 企業 コールセンター、商 品 採 用、物 流、 マーケティング、データサイエンス、 IT など多くの業務とシステムを 自社開発、自社運用している フルスタック EC カンパニー
- 6. ● 2010年から、Apache Solr によるシステムを運用 ● コツコツ改良を続けた秘伝のたれ ○ 独自のプラグイン ○ 独特な boosting 処理 ○ 2つのコアをJOINするクエリ ○ APIを増やしながら機能を追加 などの工夫が多数 有効な施策は引き続き使いたい 6 これまでのモノタロウを支えた検索システム
- 8. 1. 商品点数やアクセスの増加に耐えられなくなりそう 2. システムの制約でデータの更新が1日1回になっている 3. 検索で品番クロスヒット問題が出ている 4. 検索するのに多くのAPIを利用する必要があり複雑 5. 独立したSolrシステムが複数あり横展開しづらい 6. 環境構築が大変で、バージョンアップや開発が大掛かり さまざまな技術的負債の返上 と 将来への投資を！ 8 そんな中で生まれた社内の課題感
- 9. いくつかのPoCを行い、Elasticsearch に決定 ● Solr Cloud も検討した ○ 検証開始時には問題が多数あった ● Elastic Cloud も検討した ○ 取りたい構成が出来なかった ○ 社内NWに入れたかった 社内での Google Cloud Platform (Compute Engine) による運用を決断 9 Elasticsearch を導入して課題解決とその先へ
- 11. モノタロウの商品ページ構造の特長 ● モノタロウは商品をグループ化しています ● 品番(SKU) → 商品グループ → カテゴリ のような構成 ○ 品番数： 1900万点以上 （廃番商品除く件数） ■ わずかなサイズ違いなど似たような商品多数 ■ 多すぎて見つけられない ○ グループ数： 約300万グループ （廃番含むと約420万） ■ 似たものを集めることで探しやすく ■ 1グループに1品番～1万品番を持つ 11
- 12. ● 絞り込みを利用してもらう事で探しやすく ● しかし、以下のような問題が発生しがち ○ グループでファセット絞り込みを実施すると、 本来不可能な選択が出来てしまう ■ 例えば 外径10mm、内径 15mm とか ■ 品番単位での検索が必要 ○ 品番単位で処理すると件数表示に困る ■ 商品グループの件数を表示したい ■ しかし、品番→グループの処理は時間がかかる ● Solrでも多くの工夫を行い解決を試みてきた 12 絞り込み機能「ファセット」を充実させたUI
- 14. 14 Elasticsearch での構成は？ ElasticsearchでECサイトにおける高速検索／集計を実現する - Speaker Deck アクロクエストテクノロジー株式会社 樋口様 Elastic Community Conference 2022 発表 ● 以下の技術を採用 ○ Flattened Field Type ○ Nested Field Type この構成を取るのに、 SolrよりもElasticsearch が 向いていた
- 16. モノタロウの成長に備える ● 商品点数の増加に耐える ● ユーザー数の増加に耐える ● ページビュー数の増加に耐える ● 売上の増加に耐える 嬉しいことに、モノタロウは高い成長率を維持 しかし、年20%の成長率だと、4年で2倍になることに… 16
- 17. 17 このまま増えると危ない！ ⇒ 新しいシステムを検討 2022年12月期 第2四半期 決算概要 p34 より 図は販売中の点数 検索システムには 廃番商品が増えて いく
- 18. 規模の拡大に備えるための工夫 ● 商品点数の増加に耐える ○ データを複数のファイル（シャード）に分割する ■ プロセスを並列で処理する ■ 利用できるCPUリソースの増加 ○ クエリを分割する ■ 処理の並列化とキャッシュの効率化 ● ページビュー数の増加に耐える ○ ノードの数を増やす（スケールアウト） ■ 運用を簡単にするためにクラスタ化と構成も必要 18
- 19. ● マスター専用サーバの構築 ○ 兼用サーバではなく専用で用意して安定稼働を ● シャード分割はしても、1ノードにデータが揃うように ○ 複数のノードに分散して処理すると速度が低下 ○ Shard allocation awareness を活用 ● 暖機運転を行わないとレスポンスの低下 ○ 公式には不要と言われているが、運用したところ必要 19 モノタロウの規模・要件だと工夫も必要
- 20. 20 検索クラスタの構成イメージ Shard allocation awareness の設定 以下のような設定で変数により調整することが可能 node.attr.allocate_id: data1 cluster.routing.allocation.awareness.attributes: allocate_id Cluster-level shard allocation and routing settings | Elasticsearch Guide [8.4] | Elastic search cluster asia-northeast1-b asia-northeast1-c asia-northeast1-a data-1 data node data-2 data node data-3 data node data-4 data node data-5 data node master-2 master node master-1 master node master-3 master node kibana kibana node Internal HTTP Cloud Load Balancing Internal HTTP Cloud Load Balancing data-6 data node data node shard allocation awareness product shard 1 product shard 2 item shard 1 item shard 2 この図はイメージです
- 21. 21 データ生成・投入も移植/改良した ● データの生成・投入時間を 劇的に改善させた ○ Solr での Optimize 処理 などで 約13.5時間 ○ 改良とElasticsearch 利用 により 約4.5時間 へ短縮 2022/10/18 にテックブログ公開 https://tech-blog.monotaro.com/entry/2022/10/18/090000
- 22. Elasticsearch の運用を簡単にするためのインフラ 22 Google Cloud Platform と Infrastructure as Code
- 23. ● サーバは常に起動している状態 ● 1系統のシステムのみ ● リリース時はスレーブを1台ずつ対応 ○ ローリングアップデート方式 ● リリースを余り頻繁に出来ない 23 これまで
- 24. ● 必要なサーバの構成情報 ● 必要なネットワーク・LBなどの構成 ● 利用するイメージ ● Google Cloud Platform の権限（IAM） これらすべてを Terraform でコード化 Infrastructure as Code (IaC) 24 システムをコード化
- 25. 初期セットアップが終わった状態を 「イメージ」にする ● Ansible / Packer を使用 ● Google Cloud Build でイメージ作成自動化 同じ構成で好きな台数を起動できる 25 インスタンス イメージ作成とコード化
- 26. ● マルチクラウド利用 ○ Interconnect を利用して余り意識しない構成 ● BigQuery との親和性が高いなどのメリット ● Elasticsearch は GCE に LB などを組み合わせて構築 ● API は GKE 上で構築 ● 柔軟にシステム構築が出来る ● プロジェクトを分けて管理範囲が明確 しがらみを捨てて新しい技術にトライ 26 Google Cloud Platform
- 27. ● サーバは常に起動している状態 ○ → 必要な時に必要な物を起動（開発環境も自由度上昇） ● 1系統のシステムのみ ○ → 複数の必要なシステムを構築 （ABテスト実施なども） ● リリース時はスレーブを1台ずつ対応 ○ → 一括で B/G デプロイメントによる切替 ● リリースを余り頻繁に出来ない ○ → こまめなバージョンアップ が可能に 27 これから
- 29. 『資材調達ネットワークを変革する』 「間接資材は多種多様で、商流通は複雑、買うのに手間が かかる。見積、交渉が必要で、適正な価格でタイムリーに モノが買えない。探すにも時間がかかる。」 これが創業以来、私たちが解決に取り組んでいる「社会に あるが、叶えられていない」ニーズです。 29 モノタロウの企業理念・ミッションとは？ 企業理念・行動規範 | 経営方針 | IR情報 | 株式会社MonotaRO https://corp.monotaro.com/ir/management/management_02.html より抜粋
- 30. 30 『資材調達ネットワークを変革する』 「間接資材は多種多様で、商流通は複雑、買うのに手間がかかる。見積、交渉が必要で、 適正な価格でタイムリーにモノが買えない。探すにも時間がかかる。」 これが創業以来、私たちが解決に取り組んでいる「社会にあるが、叶えられていない」ニーズです。 お客様の事業は多種多様で、そこで使われる間接資材も多種多様、だからこそ、 お客様のニーズに合致する多種多様な間接資材を取り扱える流通事業者は限られる、という構造が根底にあります。 私たちは、商品調達から配送、お客様との接点に亘り、 インターネットを基礎としたテクノロジーの力とオペレーション の力によって、 間接資材の流通構造に変革を起こし、お客様が抱える課題を解決してお客様の信頼を獲得してまいります。 社会の成長を示す主要な指標として GDP が挙げられますが、この GDP は、生産年齢人口と一人当たり生産性の 掛け算で決まるものであり、先進国になるほ ど、生産性の向上は社会を成長させる重要な要素になります。 私たちは、資材調達にかけるお客様の手間を省くことで、お客様が本業にかけるリソースを生み 出し、 生産性を向上させていくことに貢献します。そして私たちが資材調達ネットワークを変革することによって、 お客様自身の変革をもたらし、変革の連鎖、価値提供の連鎖によって、産業社会全体が発展することを目指します。 To Innovate Business Procurement Network 企業理念・ミッション 企業理念・行動規範 | 経営方針 | IR情報 | 株式会社MonotaRO
- 32. ● モノタロウのビジネスモデル ○ 多品種の商品 ○ 高い利便性 ● 高い利便性とは？ ○ 短時間で欲しいものが見つかる ○ 快適なインタフェースとレスポンス速度 検索システムの要件としては相反する難しさ でも、それを実現することがとても重要！ 32 モノタロウにおける商品検索への期待とは？
- 34. ブログとかやってます！ ● モノタロウ 採用情報サイト ○ https://recruit.monotaro.com/ ● MonotaRO Tech Blog ○ https://tech-blog.monotaro.com/ ● モノタロウ 採用担当ブログ ○ https://note.com/monotaro_note/ 34
- 35. ● Elasticsearch による商品検索基盤に移行しました ● Elasticsearch を採用したことで従来の課題を解消しました ● さらなる新しいことにチャレンジする基盤が出来ました そして... ● 今後もモノタロウのお客様に新しい体験を提供 します 35 まとめ
- 36. 36 © 2020 MonotaRO Co., Ltd. All Rights Reserved.