Download to read offline
![[自己PR]12/23 エンジニア"1on1"面談会](https://cdn.slidesharecdn.com/ss_thumbnails/random-180101124904-thumbnail.jpg?width=640&height=640&fit=bounds)
![[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf](https://cdn.slidesharecdn.com/ss_thumbnails/itmediacloudnative2023-230609023902-1d32cbbd-thumbnail.jpg?width=640&height=640&fit=bounds)
20200630 Monotaro Data Platform & EC Platform
- 1.
- 2.
- 3.
- 4.
- 5.
- 6. https://www.monotaro.co 2020.2.13 6 間接資材購買 –モノタロウ以前 人的コスト時間がかかる 商品がほしい 複数・多種な 営業に連絡 見積 価格交渉 発注 納期確定 納品 いくら？？ いつ届くの！？
- 7. https://www.monotaro.co 2020.2.13 7 間接資材購買 –モノタロウ以後 商品がほしい 翌日届く すぐ届く価格交渉なし 購買に関わるコストを大きく下げる
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. https://www.monotaro.co 2020.2.13 旧データ基盤(〜2017)の問題点 ● データ保存場所が分散 →データ移動が大変 ● オンプレデータ基盤のサーバスペックが足りない ● 分析に必要なデータが揃っていない データが集約されていて、スケールできて、使いやすく、 管理しやすく、コストも安いデータ基盤がほしい！ 14
- 15. https://www.monotaro.co 2020.2.13 15 扱えるデータ量 作成されたレポート数SQL 業務利用者人数 10× 10× 5× ～ 100 テーブル 1000 テーブル～ ～ 30 レポート 300 レポート～ ～ 10 人 50 人～ ( IT エンジニア以外 ) データ基盤導入の成果
- 16. https://www.monotaro.co 2020.2.13 1. 全ての必要なデータを１箇所に集約 2. CDC(ChangeData Capture)による安定し たデータ連携 3. 業務担当者(非エンジニア)によるSQLデータ 分析の浸透 16 データ基盤が活用されたポイント
- 17.
- 18. https://www.monotaro.co 2020.2.13 18 BigQuery Export Binlog Connector Raw Data DWH ECSite Application Data Source ETL DWH/DataMart Application Kinesis Lambda Cloud Dataproc BigQuery Compute Engine
- 19. https://www.monotaro.co 2020.2.13 BigQueryの利用 ●フルマネージド ●シンプル ●圧倒的スケーラビリティ ● GSuite 連携(アカウントの準備とか不要) ● Google Analytics 連携 (Google Marketing Platform) 19 BigQuery
- 20.
- 21. https://www.monotaro.co 2020.2.13 CDCによるデータ連携 ● データの変更情報のみを取得、処理を行うCDC (Change DataCaputure)を行い、擬似的にSlaveDB作成 ● マスターのDBに負荷をかけず、安定してデータを連携で きた ● メインとなる基幹のDB(MySQL)でBinLog Connectorを利 用して実現している 21
- 22. https://www.monotaro.co 2020.2.13 22 Cloud Pub/Sub 基幹システム, ECサイト MySQL Binlog Connector MySQL BigQuery Binlog Connector MySQL Binlog Connector Schematizer App Engine Processor Compute Engine Bookkeeper Compute Engine DDL DML Schema Schema Merge JobSchema Updates Row Data BinLog Connectorの仕組み
- 23. https://www.monotaro.co 2020.2.13 ● データ基盤に出来るだけリアルタイムに近いデータ利用 のニーズがあった。 ● 従来の方法(mysqldumpや select 結果を同期) だと物理 削除に対応できないケースがある ● 従来の方法だと差分更新できないケースがある ○ 更新時間の値が信用できない ○ 更新されたレコードを把握するためのクエリが負荷が高い 23 BinLog Connectorを使った理由
- 24.
- 25.
- 26.
- 27. https://www.monotaro.co 2020.2.13 データ活用現状 27 ❏ マーケター ❏ マーチャンダイザー ❏カスタマーサポート ❏ 物流 ❏ セールス (全ての部門で利用) レポート 作成 分析(SQL) データソース として利用 業務アプリケ ーション 参照 or ダウンロード ❏全社的に利用 ❏全社的に利用 (ユーザ数は全社員の約30 ％)
- 28. https://www.monotaro.co 2020.2.13 IAM管理 ● あらゆるデータを基盤上に持ってきたが秘匿データは適切な人にだ け見るようにする →マスキングとAuthorizedView コスト管理 ● あらゆる人にアドホックなクエリを許可している →ハイコストなクエリをリアルタイムで検知 ● 全体の利用状況は把握できるようにしたい →GCP Censusで利用状況を可視化/チェック 28 データ基盤運用での管理ポイント
- 29. https://www.monotaro.co 2020.2.13 29 さらにECアプリケーションでの活用 EC AppDWH BigQuery Application(API) GKEApplication Cloud Bigtable パーソナライズ化したデータをAPIを通してECのアプリケ ーションで利用可能にした データサイエンテ ィストがパーソナ ライズを生成
- 30.
- 31.
- 32.
- 33. https://www.monotaro.co 2020.2.13 モノタロウ ECサイトの構成要素 33 ● トップページ ●商品ページ ● 検索 ● カート ● マイページ ● お気に入り ● 商品レビュー etc. 在庫 商品 価格 注文顧客キャン ペーン レビュー 請求 出荷 問い合 わせ 倉庫 カート 納期
- 34. https://www.monotaro.co 2020.2.13 ECサイトを取り巻く状況 34 セキュリティ ● Chrome SameSite ●Apple iTP2.1 システム関係 ● 既存コードのリファクタリング ● APIエンドポイント・リクエスト数増加 ● リアルタイムマーケティング施策増 ファーストパーティー のデータ活用 スケーラビリティと アジリティの両立
- 35. https://www.monotaro.co 2020.2.13 モノタロウのマーケティング 35 様々なデータを活用して ● SEM/リスティング広告 ● 業種別リコメンド ●検索結果最適化 ● キャンペーン・特価 ● プッシュマーケティング などをリアルタイムに最適化していきたい Life Time Value
- 36. https://www.monotaro.co 2020.2.13 36 現在のシステムの全体像 EC システム 基幹システム MySQLMySQL MySQL マーケティング システム BigQuery App Engine Cloud Bigtable Application Application Application Application Application Application Web API
- 37. https://www.monotaro.co 2020.2.13 データ活用に適したアーキテクチャへ 37 ● 非対称なマルチクラウド ○ AWSにECサイト ○GCPにデータ基盤 ○ オンプレに基幹システム ● ReadModel、更新頻度のばらつき ● DBスキーマ ● フロントエンド ● マーケターのダッシュボード
- 38. https://www.monotaro.co 2020.2.13 REST API化は進んだが問題も出てきた ● エンドポイント増加 ●コール数増加/依存の複雑化 ● ロジックの属人化 ● DBのスケーラビリティ ● 検索インデックスへの負荷集中 ● データモデルのばらつき データ活用に適したアーキテクチャへ 38
- 39. https://www.monotaro.co 2020.2.13 39 目指すシステムの全体像 Data Platform BigQuery Cloud BigtableAPI Platform Kubernetes Engine API Gateway Real-Time Data Pipeline Cloud Pub/Sub Cloud Dataflow Cloud Bigtable Cloud Pub/Sub Applications Kubernetes Engine App Engine サブシステム群 EC アプリケーション Database DatabaseCDC Application Application オーダーマネジメントシステム DatabaseDatabaseConnector Application 商品情報管理システム DatabaseDatabaseConnector Application マーケティングシステム DatabaseDatabaseConnector Application その他サブシステム DatabaseDatabaseConnector Application
- 40. https://www.monotaro.co 2020.2.13 データ活用に適したアーキテクチャへ 40 例: リコメンド、パーソナライズ ● リリースが容易でスケーラブルなAPI ●常に最新のデータが反映されたストレージ ● 持続的な成長を支えるインフラ -> システムとデータ基盤が共通のアーキテクチャに
- 41. https://www.monotaro.co 2020.2.13 既存API群のMicroservice化 41 サイトでのデータ活用とスケーリングのため One database perMicroservice化 Monolithic DB Web App Web App Web API Web App Web App Web API Microservice Microservice Microservice
- 42.
- 43.
- 44.
- 45. https://www.monotaro.co 2020.2.13 リアーキテクチャリングと技術スタック 45 データ基盤のスタック ECサイトのスタック 漸進的にギャップを埋める ->リアーキテクチャリング Cloud Dataflow Cloud Pub/Sub Kubernetes Engine Cloud Bigtable
- 46. https://www.monotaro.co 2020.2.13 運用のデータドリブン化 46 変化への柔軟な対応 ● ユーザー数・売上の伸び ● 新たな施策やトラフィックの変動 ●A/Bテスト・カナリアリリース -> SLO/SLIによるデータドリブンな運用 BigQuery Kubernetes Engine
- 47. https://www.monotaro.co 2020.2.13 47 目指すシステムの全体像 Data Platform BigQuery Cloud BigtableAPI Platform Kubernetes Engine API Gateway Real-Time Data Pipeline Cloud Pub/Sub Cloud Dataflow Cloud Bigtable Cloud Pub/Sub Applications Kubernetes Engine App Engine サブシステム群 EC アプリケーション Database DatabaseCDC Application Application オーダーマネジメントシステム DatabaseDatabaseConnector Application 商品情報管理システム DatabaseDatabaseConnector Application マーケティングシステム DatabaseDatabaseConnector Application その他サブシステム DatabaseDatabaseConnector Application
- 48. https://www.monotaro.co 2020.2.13 ● データ基盤とシステムを(アーキテクチャ的に)統合 ● リファクタリング+リアーキテクチャリング ○データ活用のためのMicroservice化 ○ データの価値を高めるイベントドリブン化 ● 変化に強いデータドリブンなインフラ ○ SRE 48 まとめ
- 49.
- 50. https://www.monotaro.co 2020.2.13 急成長するモノタロウと一緒に働いてみませんか？ ● 自社開発・自社運用で、全社/全業務でITを駆使する テクノロジー企業です ● 本社は関西ですが、東京も開発の中心になるべく幅広い 職種を募集しています ○ITエンジニア、データサイエンティスト、デジタルマ ーケター、プロダクトマネージャー ● 詳しくは https://recruit.monotaro.com/ 50
- 51.
Editor's Notes
- #2 https://docs.google.com/document/d/13iVw8Ie1Xx-rxbogPKrPZC79ov03BG3gTwz7c13IKoM/edit
- #4 前提条件として技術概念の説明はいるかも CDCとは何かとか
- #5 CMをみていただいたかたいるかもしれません。
- #6 モノタロウは間接資材を主にECサイトで取り扱うのをメインの業務としている
- #9 １８００万SKU
- #12 1800万商品あるので、この辺りを仕組みで解決している。 同じ手袋でも業種によって求めている商品は全然違う
- #14 モノタロウのGCPの活用の最初の成功体験として データ基盤の活用事例を紹介。 ビジネス的にデータが大事と言っていた話を受けてその根拠として ちゃんとやっている感をだす。 またデータ活用は進んでいるが、これをさらに高度化したい。 アプリケーションのアーキテクチャにも連携するという後段の藤本さんのシステムアーキテクトの話につなげる。
- #19 Webでの行動データの取得はGoogleAnalyticsを利用、BigQueryに連携しています。 詳細の行動データは別途自作の取得ツールも利用これもBigQueryに連携 サーバやアプリケーションのログデータも集約1日に１億行以上。１箇所に集約することとログに独自のリクエストIDを付与することで複数サーバの横断的な検索を可能にしている 一部のOracleDBにあるものはDigDag embulk を通してBIgQueryni入れている 中心となる基幹DBがMySQLでこれはBinglog ConnectorでリアルタイムキャプチアリングしてBigQueryに送っている 必要となるデータを全てBiguQueryに集約しています。 またDataLake的に集めたものにさらにデータをデータサイエンティストエンジニアが加工してDWH/DataMartを形成しています 一部はComputeEngine/ BIとして分析データ
- #22 CDCによるメリットとは？ システムの動作が安定していている。 カラムの変更の追従できる マスターに負荷をかけない。
- #23 MySQLの変更情報、Binary Log のイベントデータををBinlogConnectorというプロセスが監視。変更イベントを受け取るとそれをGCP上のCloud pub sub に通知、イベントデータをprocessorプロセスと呼ばれるプロセスがRowDataに変換してBigQueryにInsertをかけます。 DDLやAlterといったデータベースのスキーマの変更も、割と発生すると思いますが、その場合は、その情報をSchematizerに送信します。 SchematimzeがBiqQueryのSchemaをUpdateするということでBigQueryのスキーマをMySQLを自動追従できるようにしています。
- #24 運用コストが少ない
- #29 専門用語なし
- #30 データサイエンティストやエンジニアがさまざなデータを作っている BigTableにデータにデータをインサート GKE上のApp Engineを介して
- #33 聞いてほしい人のスキル感 Webエンジニア データエンジニア アプリエンジニア SRE セキュリティ、DBAは今回はあまり触れない
- #34 だくさんのドメインがあり、データ更新の主体も時間軸もまちまち。
- #35 高度化するマーケティングに対応するにはリファクタリングは必要。 APIのコール数が増えるだけでなく、シスエム同士が密結合になってしまう。
- #36 最適化するのはコストやコンバージョン。LTV向上につながる。
- #37 一つのものを見てはいるがスケーラブルでない。それぞれがバラバラに改善していっている。スター型
- #38 S3からコピーしたりレプリカを作ったりのコストが大きい 同じデータを見ていてもモデルや更新頻度の違いで結果にばらつきが出る
- #39 売り上げ・アクセスの伸び、マーケ施策の増加が複雑化を加速してしまう。アプリの複雑化はリニアではない。 APIのロジックが複雑化するほどダッシュボードから乖離
- #40 本来ECのデータの流れには複数のスケールでサイクルがあり、それをアーキテクチャに落とし込む。スパイラル型
- #41 自社リコメンドの改善。アルゴリズム変えていきたいね。 共通のアーキテクチャにすることでデータモデルや更新頻度が共通化されて使いやすくなるね
- #42 やりたいことベースでMicroserviceこうあるべき論
- #43 イベントドリブンによって最近買った商品が出たり出荷が早くなったり
- #44 CDC+Microservice データ基盤で実績のあるCDC(Change Data Capture)を利用したデータパイプラインをバックエンドとしたMicroservice
- #45 さらに進んでCDC+Microservice+データパイプライン 巨大バッチからの脱却、MLとの融合
- #46 さらっとこんなの使ってます。みんな使ってるよねくらいで。
- #47 伸びを支えるにはMeasurableなインフラが必要
- #48 そこまでやればこれが実現できると考えている。
- #49 そもものを統合するというよりは、アーキテクチャを揃えることで時系列やモデルが合うようにしていく いろんなレベルでスケーラブルに。