Submit Search
Upload
30%のMAU増加と78%のコスト削減を両立する方法.pptx
•
Download as PPTX, PDF
•
0 likes
•
216 views
iRidge, Inc.
Follow
2024年2月1日に開催されたイベント「第1回 AWSコスト削減 天下一武道会」の発表資料です。 https://no1.connpass.com/event/305664/
Read less
Read more
Engineering
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 10
Download now
Recommended
20240201_大規模通信制御信号 ETLシステムにおける 大幅なコスト削減・意識改革の取り組み.pdf
20240201_大規模通信制御信号 ETLシステムにおける 大幅なコスト削減・意識改革の取り組み.pdf
NTTDOCOMO-ServiceInnovation
Batch Processing at Scale with Flink & Iceberg
Batch Processing at Scale with Flink & Iceberg
Flink Forward
ATSプログラミングチュートリアル
ATSプログラミングチュートリアル
Kiwamu Okabe
Improve your library: Using the 5 Phases of Project Management
Improve your library: Using the 5 Phases of Project Management
ALATechSource
Excel exercicio 1
Excel exercicio 1
IEFP
Dynamic filtering for presto join optimisation
Dynamic filtering for presto join optimisation
Ori Reshef
Integração office, word, excel, power point
Integração office, word, excel, power point
James Moreira
Exercicios-word-questoes-2013-cespe-35-imprimir
Exercicios-word-questoes-2013-cespe-35-imprimir
Marco Guimarães
Recommended
20240201_大規模通信制御信号 ETLシステムにおける 大幅なコスト削減・意識改革の取り組み.pdf
20240201_大規模通信制御信号 ETLシステムにおける 大幅なコスト削減・意識改革の取り組み.pdf
NTTDOCOMO-ServiceInnovation
Batch Processing at Scale with Flink & Iceberg
Batch Processing at Scale with Flink & Iceberg
Flink Forward
ATSプログラミングチュートリアル
ATSプログラミングチュートリアル
Kiwamu Okabe
Improve your library: Using the 5 Phases of Project Management
Improve your library: Using the 5 Phases of Project Management
ALATechSource
Excel exercicio 1
Excel exercicio 1
IEFP
Dynamic filtering for presto join optimisation
Dynamic filtering for presto join optimisation
Ori Reshef
Integração office, word, excel, power point
Integração office, word, excel, power point
James Moreira
Exercicios-word-questoes-2013-cespe-35-imprimir
Exercicios-word-questoes-2013-cespe-35-imprimir
Marco Guimarães
OpenSource Big Data Platform - Flamingo Project
OpenSource Big Data Platform - Flamingo Project
BYOUNG GON KIM
Apache Spark At Scale in the Cloud
Apache Spark At Scale in the Cloud
Databricks
Iceberg: a fast table format for S3
Iceberg: a fast table format for S3
DataWorks Summit
Migrating ETL Workflow to Apache Spark at Scale in Pinterest
Migrating ETL Workflow to Apache Spark at Scale in Pinterest
Databricks
Apresentação do Curso Técnico em Informática para Internet
Apresentação do Curso Técnico em Informática para Internet
Professor Samuel Ribeiro
Hermite integrators and Riordan arrays
Hermite integrators and Riordan arrays
Keigo Nitadori
Hive: Loading Data
Hive: Loading Data
Benjamin Leonhardi
Omni gprs+gps+ble (permenant connection) smart lock air interface protocol v0...
Omni gprs+gps+ble (permenant connection) smart lock air interface protocol v0...
zeroormax1
Monitor Apache Spark 3 on Kubernetes using Metrics and Plugins
Monitor Apache Spark 3 on Kubernetes using Metrics and Plugins
Databricks
Fast Data with Apache Ignite and Apache Spark with Christos Erotocritou
Fast Data with Apache Ignite and Apache Spark with Christos Erotocritou
Spark Summit
Tame the small files problem and optimize data layout for streaming ingestion...
Tame the small files problem and optimize data layout for streaming ingestion...
Flink Forward
Introdução Ao Web Design
Introdução Ao Web Design
Sandra Oliveira
Push Notifications: How to add them to a Flutter App
Push Notifications: How to add them to a Flutter App
Fibonalabs
RocksDB compaction
RocksDB compaction
MIJIN AN
Novas Questões Microsoft Word-2007
Novas Questões Microsoft Word-2007
Marco Guimarães
Fully Utilizing Spark for Data Validation
Fully Utilizing Spark for Data Validation
Databricks
Photon Technical Deep Dive: How to Think Vectorized
Photon Technical Deep Dive: How to Think Vectorized
Databricks
Planilhas eletrônicas introdução ao excel
Planilhas eletrônicas introdução ao excel
Clausia Antoneli
teste-excel-pratico
teste-excel-pratico
Jaime Martins
Designing and Building Next Generation Data Pipelines at Scale with Structure...
Designing and Building Next Generation Data Pipelines at Scale with Structure...
Databricks
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
Google Cloud Platform - Japan
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
Google Cloud Platform - Japan
More Related Content
What's hot
OpenSource Big Data Platform - Flamingo Project
OpenSource Big Data Platform - Flamingo Project
BYOUNG GON KIM
Apache Spark At Scale in the Cloud
Apache Spark At Scale in the Cloud
Databricks
Iceberg: a fast table format for S3
Iceberg: a fast table format for S3
DataWorks Summit
Migrating ETL Workflow to Apache Spark at Scale in Pinterest
Migrating ETL Workflow to Apache Spark at Scale in Pinterest
Databricks
Apresentação do Curso Técnico em Informática para Internet
Apresentação do Curso Técnico em Informática para Internet
Professor Samuel Ribeiro
Hermite integrators and Riordan arrays
Hermite integrators and Riordan arrays
Keigo Nitadori
Hive: Loading Data
Hive: Loading Data
Benjamin Leonhardi
Omni gprs+gps+ble (permenant connection) smart lock air interface protocol v0...
Omni gprs+gps+ble (permenant connection) smart lock air interface protocol v0...
zeroormax1
Monitor Apache Spark 3 on Kubernetes using Metrics and Plugins
Monitor Apache Spark 3 on Kubernetes using Metrics and Plugins
Databricks
Fast Data with Apache Ignite and Apache Spark with Christos Erotocritou
Fast Data with Apache Ignite and Apache Spark with Christos Erotocritou
Spark Summit
Tame the small files problem and optimize data layout for streaming ingestion...
Tame the small files problem and optimize data layout for streaming ingestion...
Flink Forward
Introdução Ao Web Design
Introdução Ao Web Design
Sandra Oliveira
Push Notifications: How to add them to a Flutter App
Push Notifications: How to add them to a Flutter App
Fibonalabs
RocksDB compaction
RocksDB compaction
MIJIN AN
Novas Questões Microsoft Word-2007
Novas Questões Microsoft Word-2007
Marco Guimarães
Fully Utilizing Spark for Data Validation
Fully Utilizing Spark for Data Validation
Databricks
Photon Technical Deep Dive: How to Think Vectorized
Photon Technical Deep Dive: How to Think Vectorized
Databricks
Planilhas eletrônicas introdução ao excel
Planilhas eletrônicas introdução ao excel
Clausia Antoneli
teste-excel-pratico
teste-excel-pratico
Jaime Martins
Designing and Building Next Generation Data Pipelines at Scale with Structure...
Designing and Building Next Generation Data Pipelines at Scale with Structure...
Databricks
What's hot
(20)
OpenSource Big Data Platform - Flamingo Project
OpenSource Big Data Platform - Flamingo Project
Apache Spark At Scale in the Cloud
Apache Spark At Scale in the Cloud
Iceberg: a fast table format for S3
Iceberg: a fast table format for S3
Migrating ETL Workflow to Apache Spark at Scale in Pinterest
Migrating ETL Workflow to Apache Spark at Scale in Pinterest
Apresentação do Curso Técnico em Informática para Internet
Apresentação do Curso Técnico em Informática para Internet
Hermite integrators and Riordan arrays
Hermite integrators and Riordan arrays
Hive: Loading Data
Hive: Loading Data
Omni gprs+gps+ble (permenant connection) smart lock air interface protocol v0...
Omni gprs+gps+ble (permenant connection) smart lock air interface protocol v0...
Monitor Apache Spark 3 on Kubernetes using Metrics and Plugins
Monitor Apache Spark 3 on Kubernetes using Metrics and Plugins
Fast Data with Apache Ignite and Apache Spark with Christos Erotocritou
Fast Data with Apache Ignite and Apache Spark with Christos Erotocritou
Tame the small files problem and optimize data layout for streaming ingestion...
Tame the small files problem and optimize data layout for streaming ingestion...
Introdução Ao Web Design
Introdução Ao Web Design
Push Notifications: How to add them to a Flutter App
Push Notifications: How to add them to a Flutter App
RocksDB compaction
RocksDB compaction
Novas Questões Microsoft Word-2007
Novas Questões Microsoft Word-2007
Fully Utilizing Spark for Data Validation
Fully Utilizing Spark for Data Validation
Photon Technical Deep Dive: How to Think Vectorized
Photon Technical Deep Dive: How to Think Vectorized
Planilhas eletrônicas introdução ao excel
Planilhas eletrônicas introdução ao excel
teste-excel-pratico
teste-excel-pratico
Designing and Building Next Generation Data Pipelines at Scale with Structure...
Designing and Building Next Generation Data Pipelines at Scale with Structure...
Similar to 30%のMAU増加と78%のコスト削減を両立する方法.pptx
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
Google Cloud Platform - Japan
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
Google Cloud Platform - Japan
ずばっと解決!クラウド・仮想化環境の運用課題!
ずばっと解決!クラウド・仮想化環境の運用課題!
Hinemos
[Cloud OnAir] #01 徹底解剖 GCP のここがすごい
[Cloud OnAir] #01 徹底解剖 GCP のここがすごい
Google Cloud Platform - Japan
[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送
[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送
Google Cloud Platform - Japan
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Insight Technology, Inc.
Sum awsloft tko-iotloft-10-lt4-may-2020
Sum awsloft tko-iotloft-10-lt4-may-2020
Amazon Web Services Japan
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
Issei Hiraoka
Aws summit tokyo 2016
Aws summit tokyo 2016
Shotaro Motomura
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
kashiwanoha-iot
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
Insight Technology, Inc.
Microsoft MVP が語る Azure 移行の勘所
Microsoft MVP が語る Azure 移行の勘所
Tetsuya Odashima
B07_業務の自動化を多角的に実現する Power Automate の世界 [Microsoft Japan Digital Days]
B07_業務の自動化を多角的に実現する Power Automate の世界 [Microsoft Japan Digital Days]
日本マイクロソフト株式会社
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
Google Cloud Platform - Japan
Circle of Code with Cloud Foundry
Circle of Code with Cloud Foundry
Tomohiro Ichimura
[Cloud OnAir] Bigtable に迫る!基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送
[Cloud OnAir] Bigtable に迫る!基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送
Google Cloud Platform - Japan
Microsoft Azure で実現するAIとIoT最新情報
Microsoft Azure で実現するAIとIoT最新情報
Yasuhiro Kobayashi
現場開発者視点で答えるWindows Azure
現場開発者視点で答えるWindows Azure
Keiichi Hashimoto
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
kusami
Smart store servlerless-20191030-40min
Smart store servlerless-20191030-40min
Microsoft Azure Japan
Similar to 30%のMAU増加と78%のコスト削減を両立する方法.pptx
(20)
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
ずばっと解決!クラウド・仮想化環境の運用課題!
ずばっと解決!クラウド・仮想化環境の運用課題!
[Cloud OnAir] #01 徹底解剖 GCP のここがすごい
[Cloud OnAir] #01 徹底解剖 GCP のここがすごい
[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送
[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Sum awsloft tko-iotloft-10-lt4-may-2020
Sum awsloft tko-iotloft-10-lt4-may-2020
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
Aws summit tokyo 2016
Aws summit tokyo 2016
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
Microsoft MVP が語る Azure 移行の勘所
Microsoft MVP が語る Azure 移行の勘所
B07_業務の自動化を多角的に実現する Power Automate の世界 [Microsoft Japan Digital Days]
B07_業務の自動化を多角的に実現する Power Automate の世界 [Microsoft Japan Digital Days]
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
Circle of Code with Cloud Foundry
Circle of Code with Cloud Foundry
[Cloud OnAir] Bigtable に迫る!基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送
[Cloud OnAir] Bigtable に迫る!基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送
Microsoft Azure で実現するAIとIoT最新情報
Microsoft Azure で実現するAIとIoT最新情報
現場開発者視点で答えるWindows Azure
現場開発者視点で答えるWindows Azure
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
PagerDuty会社概要・インシデント管理ソリューション紹介資料 〜インシデントをより早く・少ないリソースで解決し、 将来のインシデントを未然に防ぐには〜
Smart store servlerless-20191030-40min
Smart store servlerless-20191030-40min
30%のMAU増加と78%のコスト削減を両立する方法.pptx
1.
30%のMAU増加と 78%のコスト削減を 両立する方法 2024年2月1日 (木) 株式会社アイリッジ 企画開発本部 プロダクトサービス部
プロダクト開発グループ 中野 豊
2.
アイリッジの事業 スマホアプリ開発・運用を支援するサービスを提供 データ集計基盤
3.
これまでのデータ集計基盤 特徴 ● 夜間の特定時間帯に処理が集中 ● クエリ数が多い ○
例: 500アプリ * 10セグメント抽出条件 = 5,000クエリ ● BigQueryOperatorを使用し、AirflowのTaskとして並列処理 Cloud Composer BigQuery DAG DAG BigQueryOperator BigQueryOperator BigQueryOperator BigQueryOperator Google Cloudの マネージドAirflow (AWSのMWAAに相当)
4.
Cloud Composer 構成の課題 高コスト ●
常時起動・常時課金 ● まともに動作する最小構成で$400/月~ ● BigQueryOperatorの多並列実行には大量のCPUが必要 ○ 8vCPU * 8nodeを盛大に使っている例 ● オートスケール実装前の古いバージョン (単位はCPU個)
5.
新しいデータ集計基盤 「使った分だけ課金」のサービスでCloud Composerを置き換え スレッドで軽量に並列クエリ実行 Cloud Scheduler
Workflows Cloud Functions BigQuery Thread Thread Thread Thread Cloud Scheduler Workflows
6.
基盤移行時の課題と対策 ● 必ずタイムアウトするクエリ ○ 既存クエリの実行時間が、 WorkflowsのHTTP呼び出し制限時間を超過 =>
クエリを書き直して最適化 ● Airflowからの機能落ち ○ ワークフローを跨いだ依存関係管理がない => 内製 ○ WorkflowsのGUIからエラー時の原因特定が困難 => Cloud Functionsから整形されたエラーを 送り返し、Workflowsだけで原因特定を完結
7.
作り直しに伴う苦労 ● 既存実装を正確に理解するのが大変 ○ コード量が多い(数万行) ○
複雑な実装 ○ 複雑な依存関係 ● 時々見つかる怪しい実装 ○ ほんとにこれ合ってる...? ○ 過去経緯の掘り起こし、仕様策定から必要なことも ● 実装量・テスト量が多い
8.
乗り越えた先にある成果 とあるバッチ群の例 旧 新 オーケストレーションの 計算リソース量 (8vCPU, 16GB
Memory) * 8 24時間/日 1vCPU, 2GB Memory 50分/日 (⬇99.95%) 最長BigQueryジョブ 50分 3分 (⬇94.0%) コード量 14422行 10059行 (⬇30.3%) Cognitive Complexity (SQLは計測対象外) 646 601 (⬇7.0%)
9.
コスト推移 ⬇49% ⬇78%
10.
お詫び 応募時の確認不足により、コスト計算方法がルールと違います。 申し訳ありません。 サービス・配信系 データ収集・蓄積系 データ集計系 データ集計系全体の コスト削減率が78% プロジェクト単位の コスト削減率は20% 一緒に改善してくれる 人募集中!!
Download now