Submit Search
Upload
TB / Day規模のゲーム向けデータパイプラインを開発運用する日々
•
0 likes
•
4,131 views
gree_tech
Follow
WebDB Forum 2018で発表された資料です。 http://db-event.jpn.org/webdbf2018/
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 29
Download now
Download to read offline
Recommended
アナザーエデンにおける非同期オートセーブを用いた通信待ちストレスのないゲーム体験の実現
アナザーエデンにおける非同期オートセーブを用いた通信待ちストレスのないゲーム体験の実現
gree_tech
GREE 流!AWS をお得に使う方法
GREE 流!AWS をお得に使う方法
gree_tech
AWS re:invent振り返りServerlessでサーバコスト以外もいろいろ削減
AWS re:invent振り返りServerlessでサーバコスト以外もいろいろ削減
gree_tech
社内サービスのUI改善
社内サービスのUI改善
gree_tech
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システム
gree_tech
OSS強化学習向けゲーム環境の動向
OSS強化学習向けゲーム環境の動向
gree_tech
[SAPPORO CEDEC] サービスの効果を高めるグリー内製ツールの技術と紹介
[SAPPORO CEDEC] サービスの効果を高めるグリー内製ツールの技術と紹介
gree_tech
KubernetesでPHPを動かした話
KubernetesでPHPを動かした話
gree_tech
Recommended
アナザーエデンにおける非同期オートセーブを用いた通信待ちストレスのないゲーム体験の実現
アナザーエデンにおける非同期オートセーブを用いた通信待ちストレスのないゲーム体験の実現
gree_tech
GREE 流!AWS をお得に使う方法
GREE 流!AWS をお得に使う方法
gree_tech
AWS re:invent振り返りServerlessでサーバコスト以外もいろいろ削減
AWS re:invent振り返りServerlessでサーバコスト以外もいろいろ削減
gree_tech
社内サービスのUI改善
社内サービスのUI改善
gree_tech
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システム
gree_tech
OSS強化学習向けゲーム環境の動向
OSS強化学習向けゲーム環境の動向
gree_tech
[SAPPORO CEDEC] サービスの効果を高めるグリー内製ツールの技術と紹介
[SAPPORO CEDEC] サービスの効果を高めるグリー内製ツールの技術と紹介
gree_tech
KubernetesでPHPを動かした話
KubernetesでPHPを動かした話
gree_tech
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
NuxtJS + REST APIで運用中サービスをNuxtJS + GraphQLに変更したことによる光と影
NuxtJS + REST APIで運用中サービスをNuxtJS + GraphQLに変更したことによる光と影
gree_tech
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術
gree_tech
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
gree_tech
これからのインフラエンジニアについて考えていること
これからのインフラエンジニアについて考えていること
gree_tech
Keynote
Keynote
gree_tech
大規模ライブ配信の苦労ポイント
大規模ライブ配信の苦労ポイント
gree_tech
Datadog monitoring with HashiCorp
Datadog monitoring with HashiCorp
Masatomo Ito
実践 自動復旧
実践 自動復旧
gree_tech
[GREE Tech Talk #07] Unityカジュアルゲーム・ケーススタディ
[GREE Tech Talk #07] Unityカジュアルゲーム・ケーススタディ
gree_tech
ネットワークエンジニアがWeb開発をやってみて思ったこと
ネットワークエンジニアがWeb開発をやってみて思ったこと
gree_tech
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
ToruKubota4
【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity Developers
UnityTechnologiesJapan002
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
GCP vs 他社クラウド
GCP vs 他社クラウド
Hasegawa Yusuke
クラウドを活用したシステム開発は適材適所
クラウドを活用したシステム開発は適材適所
Kimihiko Kitase
Growing up serverless
Growing up serverless
Amazon Web Services Japan
ターン制コマンドバトルにおける強化学習効率化
ターン制コマンドバトルにおける強化学習効率化
gree_tech
Cocos2d-x 3.0を使ったゲーム “消滅都市” の開発事例
Cocos2d-x 3.0を使ったゲーム “消滅都市” の開発事例
gree_tech
Multi Cloud Design Pattern(Beta)
Multi Cloud Design Pattern(Beta)
Terui Masashi
Data analysis platform ver1.1
Data analysis platform ver1.1
TomohiroDoi
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Amazon Web Services Japan
More Related Content
What's hot
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
NuxtJS + REST APIで運用中サービスをNuxtJS + GraphQLに変更したことによる光と影
NuxtJS + REST APIで運用中サービスをNuxtJS + GraphQLに変更したことによる光と影
gree_tech
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術
gree_tech
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
gree_tech
これからのインフラエンジニアについて考えていること
これからのインフラエンジニアについて考えていること
gree_tech
Keynote
Keynote
gree_tech
大規模ライブ配信の苦労ポイント
大規模ライブ配信の苦労ポイント
gree_tech
Datadog monitoring with HashiCorp
Datadog monitoring with HashiCorp
Masatomo Ito
実践 自動復旧
実践 自動復旧
gree_tech
[GREE Tech Talk #07] Unityカジュアルゲーム・ケーススタディ
[GREE Tech Talk #07] Unityカジュアルゲーム・ケーススタディ
gree_tech
ネットワークエンジニアがWeb開発をやってみて思ったこと
ネットワークエンジニアがWeb開発をやってみて思ったこと
gree_tech
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
ToruKubota4
【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity Developers
UnityTechnologiesJapan002
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
GCP vs 他社クラウド
GCP vs 他社クラウド
Hasegawa Yusuke
クラウドを活用したシステム開発は適材適所
クラウドを活用したシステム開発は適材適所
Kimihiko Kitase
Growing up serverless
Growing up serverless
Amazon Web Services Japan
ターン制コマンドバトルにおける強化学習効率化
ターン制コマンドバトルにおける強化学習効率化
gree_tech
Cocos2d-x 3.0を使ったゲーム “消滅都市” の開発事例
Cocos2d-x 3.0を使ったゲーム “消滅都市” の開発事例
gree_tech
Multi Cloud Design Pattern(Beta)
Multi Cloud Design Pattern(Beta)
Terui Masashi
What's hot
(20)
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
NuxtJS + REST APIで運用中サービスをNuxtJS + GraphQLに変更したことによる光と影
NuxtJS + REST APIで運用中サービスをNuxtJS + GraphQLに変更したことによる光と影
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
これからのインフラエンジニアについて考えていること
これからのインフラエンジニアについて考えていること
Keynote
Keynote
大規模ライブ配信の苦労ポイント
大規模ライブ配信の苦労ポイント
Datadog monitoring with HashiCorp
Datadog monitoring with HashiCorp
実践 自動復旧
実践 自動復旧
[GREE Tech Talk #07] Unityカジュアルゲーム・ケーススタディ
[GREE Tech Talk #07] Unityカジュアルゲーム・ケーススタディ
ネットワークエンジニアがWeb開発をやってみて思ったこと
ネットワークエンジニアがWeb開発をやってみて思ったこと
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity Developers
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
GCP vs 他社クラウド
GCP vs 他社クラウド
クラウドを活用したシステム開発は適材適所
クラウドを活用したシステム開発は適材適所
Growing up serverless
Growing up serverless
ターン制コマンドバトルにおける強化学習効率化
ターン制コマンドバトルにおける強化学習効率化
Cocos2d-x 3.0を使ったゲーム “消滅都市” の開発事例
Cocos2d-x 3.0を使ったゲーム “消滅都市” の開発事例
Multi Cloud Design Pattern(Beta)
Multi Cloud Design Pattern(Beta)
Similar to TB / Day規模のゲーム向けデータパイプラインを開発運用する日々
Data analysis platform ver1.1
Data analysis platform ver1.1
TomohiroDoi
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Amazon Web Services Japan
Cloud native strategy ver1.1
Cloud native strategy ver1.1
TomohiroDoi
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
yuichi_komatsu
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
Kimihiko Kitase
私たちがGCPを使い始めた本当の理由
私たちがGCPを使い始めた本当の理由
gree_tech
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
gree_tech
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 TOKYO
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 TOKYO
Game Tools & Middleware Forum
とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例
agileware_jp
20130313 OSCA Hadoopセミナー
20130313 OSCA Hadoopセミナー
Ichiro Fukuda
Serverless analytics on aws
Serverless analytics on aws
Amazon Web Services Japan
Reinvent2017 recap-gaming-session-1
Reinvent2017 recap-gaming-session-1
Amazon Web Services Japan
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
Amazon Web Services Japan
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 OSAKA
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 OSAKA
Game Tools & Middleware Forum
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方
Shota Suzuki
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
Amazon Web Services Japan
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
Introduction to New CloudWatch Agent
Introduction to New CloudWatch Agent
Noritaka Sekiyama
基幹システムにおけるオープンソース活用
基幹システムにおけるオープンソース活用
UNIRITA Incorporated
Similar to TB / Day規模のゲーム向けデータパイプラインを開発運用する日々
(20)
Data analysis platform ver1.1
Data analysis platform ver1.1
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Gaming on aws 〜ゲームにおけるAWS最新活用術〜
Cloud native strategy ver1.1
Cloud native strategy ver1.1
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
私たちがGCPを使い始めた本当の理由
私たちがGCPを使い始めた本当の理由
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 TOKYO
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 TOKYO
とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例
20130313 OSCA Hadoopセミナー
20130313 OSCA Hadoopセミナー
Serverless analytics on aws
Serverless analytics on aws
Reinvent2017 recap-gaming-session-1
Reinvent2017 recap-gaming-session-1
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 OSAKA
Amazon Game Tech アマゾンゲームテクノロジー - Amazon Game Tech - GTMF 2018 OSAKA
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
Introduction to New CloudWatch Agent
Introduction to New CloudWatch Agent
基幹システムにおけるオープンソース活用
基幹システムにおけるオープンソース活用
More from gree_tech
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
gree_tech
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
gree_tech
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
gree_tech
アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~
gree_tech
長寿なゲーム事業におけるアプリビルドの効率化
長寿なゲーム事業におけるアプリビルドの効率化
gree_tech
Cloud Spanner をより便利にする運用支援ツールの紹介
Cloud Spanner をより便利にする運用支援ツールの紹介
gree_tech
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
gree_tech
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
gree_tech
海外展開と負荷試験
海外展開と負荷試験
gree_tech
翻訳QAでのテスト自動化の取り組み
翻訳QAでのテスト自動化の取り組み
gree_tech
組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違い
gree_tech
サーバーフレームワークに潜んでる脆弱性検知ツール紹介
サーバーフレームワークに潜んでる脆弱性検知ツール紹介
gree_tech
データエンジニアとアナリストチーム兼務になった件について
データエンジニアとアナリストチーム兼務になった件について
gree_tech
シェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジー
gree_tech
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
gree_tech
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
gree_tech
比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)
gree_tech
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
gree_tech
「やんちゃ、足りてる?」〜ヤンマガWebで挑戦を続ける新入りエンジニア〜
「やんちゃ、足りてる?」〜ヤンマガWebで挑戦を続ける新入りエンジニア〜
gree_tech
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
gree_tech
More from gree_tech
(20)
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~
長寿なゲーム事業におけるアプリビルドの効率化
長寿なゲーム事業におけるアプリビルドの効率化
Cloud Spanner をより便利にする運用支援ツールの紹介
Cloud Spanner をより便利にする運用支援ツールの紹介
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
海外展開と負荷試験
海外展開と負荷試験
翻訳QAでのテスト自動化の取り組み
翻訳QAでのテスト自動化の取り組み
組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違い
サーバーフレームワークに潜んでる脆弱性検知ツール紹介
サーバーフレームワークに潜んでる脆弱性検知ツール紹介
データエンジニアとアナリストチーム兼務になった件について
データエンジニアとアナリストチーム兼務になった件について
シェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジー
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
「やんちゃ、足りてる?」〜ヤンマガWebで挑戦を続ける新入りエンジニア〜
「やんちゃ、足りてる?」〜ヤンマガWebで挑戦を続ける新入りエンジニア〜
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
TB / Day規模のゲーム向けデータパイプラインを開発運用する日々
1.
Copyright © GREE,
Inc. All Rights Reserved. TB/Day規模のゲーム向け データパイプラインを 開発運用する日々 グリー株式会社 開発本部 森田想平
2.
目次 2 ● 会社紹介 ● データ基盤全般の紹介 ●
AWSベースのデータ基盤 ● GCPベースのデータ基盤 ● 開発運用する日々の話 ● まとめ
3.
会社紹介 3 社名 グリー株式会社 事業内容 ●
ゲーム・ライブエンタメ事業 ● 広告・メディア事業 ● 投資事業 設立 2004年12月7日 代表者 代表取締役会長兼社長 田中良和 本社所在地 東京都港区六本木 6-10-1 六本木ヒルズ森タワー 従業員数 1,531人(グループ全体・ 2018年6月末現在) 主なグループ企業 ● グリービジネスオペレーションズ株式会社 ● グリーベンチャーズ株式会社 ● ファンプレックス株式会社 ● 株式会社ポケラボ ● リミア株式会社 ● 株式会社ExPlay ● Glossom株式会社 ● GREE VR Capital, LLC. ● 株式会社Wright Flyer Studios ● 株式会社3ミニッツ
4.
会社紹介 4
5.
開発本部(の一部メンバー) 会社紹介 ゲームプラットフォーム事業 5 ゲーム事業 ライブエンタメ事業 メディア事業 ●
横断データ基盤、分析ツールの開発運用 ● 事業ごとのデータ基盤、分析ツールの開発運用
6.
目次 6 ● 会社紹介 ● データ基盤全般の紹介 ●
AWSベースのデータ基盤 ● GCPベースのデータ基盤 ● 開発運用する日々の話 ● まとめ
7.
Copyright © GREE,
Inc. All Rights Reserved. ● ex. シノアリス ● AppStoreトップセールスランキング最高1位 ● 最大AWSインスタンス数1000前後(らしい) ● ex. ゲームプラットフォーム事業 ● オンプレミスサーバ数千台程度 データ基盤全般の紹介 事業の規模感 ref. https://gamebiz.jp/?p=218802
8.
Copyright © GREE,
Inc. All Rights Reserved. ● データ基盤に送信蓄積されるデータ量 ● 増加量は数TB/Day 程度 ● 現在 1PB前後を管理運用 ● 送信されるデータを全て永遠に取っておくわけではない データ基盤全般の紹介 データの規模感
9.
Copyright © GREE,
Inc. All Rights Reserved. ● オンプレミスMySQLサーバ群 ● MySQLサーバ : 100台程度(数十TB) ● オンプレミスHadoop ● Hadoopクラスタ : 50台程度(数百TB) データ基盤全般の紹介 幾つかの世代がある
10.
Copyright © GREE,
Inc. All Rights Reserved. ● AWSベースのデータ基盤 ● メインのデータ基盤(数百TB) ● 後述します ● GCPベースのデータ基盤 ● 最近使い始めた(データ少ない) ● 少しだけ後で触れます データ基盤全般の紹介 幾つかの世代がある
11.
Copyright © GREE,
Inc. All Rights Reserved. ● 旧Sun Microsystemsの専用アプライアンス(Solaris)から汎用IA サーバ(Ubuntu)へのMySQLマイグレーション ● ZFSの機能(zfs send)にpatchを当てて利用 ● オンプレミスHadoopからAWSデータ基盤へのマイグレーション ● データ送信はfluentdのダブルライト ● 過去ログはAWS Snowballデバイス ● バッチジョブは地道に書き換える データ基盤全般の紹介 レガシーシステムからのマイグレーション
12.
目次 12 ● 会社紹介 ● データ基盤全般の紹介 ●
AWSベースのデータ基盤 ● GCPベースのデータ基盤 ● 開発運用する日々の話 ● まとめ
13.
Copyright © GREE,
Inc. All Rights Reserved. AWSベースのデータ基盤 システム構成 Amazon Kinesis Amazon EMR Amazon S3 Kinesis Consumer API Server BI Tool KPI Metric プロダクトA プロダクトB プロダクトC プロダクトD
14.
Copyright © GREE,
Inc. All Rights Reserved. ● S3への重依存 ● (オンプレミスと比べた場合の)運用負荷減 ● クエリエンジンのステートレス化 ● 障害対応やバージョンアップが容易に AWSベースのデータ基盤 規模感に伴うかんどころ:その1
15.
Copyright © GREE,
Inc. All Rights Reserved. ● S3のファイル数が多くなると、クエリ実行時にS3のRead(API呼び出 し)がボトルネックになる ● 定常的にファイルをマージしている ● 遅延ログがあるとマージが難しくなる ● よく使うテーブルに関しては、定常的にカラムナフォーマットで作り直し ている AWSベースのデータ基盤 規模感に伴うかんどころ:その2
16.
Copyright © GREE,
Inc. All Rights Reserved. ● 会社組織が複雑になると、権限管理が複雑になる ● 書き込みに関しては、プロダクトごとにAWSアカウントがあるので、 IAM Assume Roleという機能を利用する AWSベースのデータ基盤 規模感に伴うかんどころ:その3 Amazon Kinesis Streams IAM Role (KinesisへのWrite権限) Amazon EC2 AWS Lambda 1. AssumeRoleで一時的権限を取得 2. Kinesis::PutRecordsでログを送信 データ分析基盤のAWSアカウント プロダクトのAWSアカウント
17.
目次 17 ● 会社紹介 ● データ基盤全般の紹介 ●
AWSベースのデータ基盤 ● GCPベースのデータ基盤 ● 開発運用する日々の話 ● まとめ
18.
Copyright © GREE,
Inc. All Rights Reserved. GCPベースのデータ基盤 システム構成 analytics-systemproduction server Stackdriver BigQuery Data Studio Cloud Pub/Sub Cloud Storage Cloud Dataflow client Cloud SQL Firebase App Engine ios/android
19.
Copyright © GREE,
Inc. All Rights Reserved. ● スケーラビリティに関しては、まだ検証フェーズ ● 心配はしていない GCPベースのデータ基盤 概要
20.
目次 20 ● 会社紹介 ● データ基盤全般の紹介 ●
AWSベースのデータ基盤 ● GCPベースのデータ基盤 ● 開発運用する日々の話 ● まとめ
21.
Copyright © GREE,
Inc. All Rights Reserved. システムを 「気持ちよく開発・保守できるかどうか」を 示す言葉(として一部使われている) 開発運用する日々 デベロッパーエクスペリエンス(DX) ref. https://gfx.hatenablog.com/entry/2018/06/28/100103
22.
Copyright © GREE,
Inc. All Rights Reserved. ● セットアップの自動化 ● 実行環境(OS)の移植性の最大化 ● サーバ・システム管理を不要に ● 継続的デプロイを可能に ● スケールアップを可能に 開発運用する日々 The Twelve-Factor App ref. https://12factor.net/ja/
23.
Copyright © GREE,
Inc. All Rights Reserved. ● (本番と同様)、開発時も依存プロセスが多い ● dockerで各プロセスを管理するが、1つ1つ再起動等するのは手間に なる ● そこで、docker-compseという複数dockerを管理する仕組みを利用 する ● 一括で起動できる ● コンテナ間の通信や依存関係を設定できる 開発運用する日々 DX向上のための工夫の例
24.
Copyright © GREE,
Inc. All Rights Reserved. ● システムコンポーネント(AWSベースデータ基盤の場合) ● Kinesis Consumerアプリケーション(データ配送ロジック) ● API Server(クエリの管理や権限制御) ● Analyticsツール(ワークフロー機能等含む) ● 構成管理・デプロイ・起動 ● その他、細かいコード ● バッチジョブ(ファイルマージなど) ● Presto等のUser-Defined Function 開発運用する日々 結局何を開発するのか?主なコーディング対象
25.
Copyright © GREE,
Inc. All Rights Reserved. ● プロダクトマネジメント体制 ● 仕様策定や利用者問い合わせ対応は別チームのタスク ● 開発ツール ● MacBookとAWS開発専用アカウントを駆使する ● IntelliJ IDEA(IDE)のライセンスは付与 ● 日々の作業 ● 新規開発、bugfix、障害対応 ● お昼は割と社内勉強会やコーディング系の部活 ● ごく稀に、海外出張でカンファレンスに参加 開発運用する日々 開発運用体制
26.
Copyright © GREE,
Inc. All Rights Reserved. ● (クラウド)データ基盤の開発運用のやりがい ● 様々なミドルウェアや技術にさわれる (Mさん、Yさん) ● 少さなコードで大規模なシステムが動く(Iさん) ● 社内ユーザからダイレクトにFBがもらえる(Mさん) 開発運用する日々 開発メンバーの意見
27.
Copyright © GREE,
Inc. All Rights Reserved. ● (クラウド)データ基盤の開発運用で大変なこと ● アラート対応 ● マネージドサービスが死んだり調子が悪くなると、待つしかない ● マネージドサービスの利用MWのバージョンがニーズにマッチしな いと辛い 開発運用する日々 開発メンバーの意見
28.
目次 28 ● 会社紹介 ● データ基盤全般の紹介 ●
AWSベースのデータ基盤 ● GCPベースのデータ基盤 ● 開発運用する日々の話 ● まとめ
29.
Copyright © GREE,
Inc. All Rights Reserved. ● 開発運用対象が周縁化してる ● 分散ファイルシステムやクエリエンジンなどデータパイプラインの中 心部分はマネージドサービス化が進んでいる ● パイプラインの周縁は開発が必要 ● 周縁部は事業依存になりがちなので ● 必要な機能が増え、使えるコンポーネントも多いので、システム構成が 複雑になりがち ● DXを考慮した日々の開発が重要 まとめ 開発運用する日々に対する所感
Download now