Submit Search
Upload
HUで6000万pvのトラフィックを捌くまでに起ったことをありのままに話すぜ
•
Download as PPTX, PDF
•
0 likes
•
1,325 views
B
basicinc_dev
Follow
株式会社ベーシックで毎月末開催しているTGIFの発表資料です。 https://basicinc.jp/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 14
Download now
Recommended
マイクラ自動化枠第2回資料
マイクラ自動化枠第2回資料
Ryo Fujita
マイクラ自動化枠第1回資料
マイクラ自動化枠第1回資料
Ryo Fujita
Kubernetesできること
Kubernetesできること
iPride Co., Ltd.
20100717tobesetu
20100717tobesetu
akitsukada
軽量EvernoteクライアントSmartEverにおけるアプリ高速化の工夫と課題
軽量EvernoteクライアントSmartEverにおけるアプリ高速化の工夫と課題
Makoto Setoh
Unix
Unix
Hiramatsu Ryosuke
カジュアルにソースコードリーディング
カジュアルにソースコードリーディング
Akihiro Okuno
Stream2の基本
Stream2の基本
shigeki_ohtsu
Recommended
マイクラ自動化枠第2回資料
マイクラ自動化枠第2回資料
Ryo Fujita
マイクラ自動化枠第1回資料
マイクラ自動化枠第1回資料
Ryo Fujita
Kubernetesできること
Kubernetesできること
iPride Co., Ltd.
20100717tobesetu
20100717tobesetu
akitsukada
軽量EvernoteクライアントSmartEverにおけるアプリ高速化の工夫と課題
軽量EvernoteクライアントSmartEverにおけるアプリ高速化の工夫と課題
Makoto Setoh
Unix
Unix
Hiramatsu Ryosuke
カジュアルにソースコードリーディング
カジュアルにソースコードリーディング
Akihiro Okuno
Stream2の基本
Stream2の基本
shigeki_ohtsu
CouchDB JP & BigCouch
CouchDB JP & BigCouch
Yohei Sasaki
Haskell超初心者勉強会11
Haskell超初心者勉強会11
Takashi Kawachi
Node-v0.12の新機能について
Node-v0.12の新機能について
shigeki_ohtsu
Slub data structure
Slub data structure
Masami Ichikawa
Bgworkerで簡易クラスタ管理
Bgworkerで簡易クラスタ管理
Masahiko Sawada
initとプロセス再起動
initとプロセス再起動
Takashi Takizawa
Kernel fcache-bug
Kernel fcache-bug
MITSUNARI Shigeo
initramfsについて
initramfsについて
Kazuhiro Nishiyama
“bcache”を使ってSSDの速さと HDDの大容量のいいとこどり 2015-12-12
“bcache”を使ってSSDの速さと HDDの大容量のいいとこどり 2015-12-12
Nobuto Murata
Slub alloc and free
Slub alloc and free
Masami Ichikawa
前期講座09
前期講座09
Takenori Nakagawa
Rancher meetup #02
Rancher meetup #02
morito toshiyuki
Docker やってみた
Docker やってみた
Fumihiko Nishio
Redisととあるシステム
Redisととあるシステム
Takehiro Torigaki
C++のビルド高速化について
C++のビルド高速化について
AimingStudy
B lack jumbodog 運転と改造のすすめ
B lack jumbodog 運転と改造のすすめ
Shinichi Hirauchi
OSC2012-KANSAI@Kyoto JOSUG
OSC2012-KANSAI@Kyoto JOSUG
Hideki Saito
デバドラを書いてみよう!
デバドラを書いてみよう!
Masami Ichikawa
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Tadayasu Yotsu
Memory sanitizer
Memory sanitizer
MITSUNARI Shigeo
無名関数のすすめ
無名関数のすすめ
Shoichi Kakizaki
川又康平 20160428
川又康平 20160428
basicinc_dev
More Related Content
What's hot
CouchDB JP & BigCouch
CouchDB JP & BigCouch
Yohei Sasaki
Haskell超初心者勉強会11
Haskell超初心者勉強会11
Takashi Kawachi
Node-v0.12の新機能について
Node-v0.12の新機能について
shigeki_ohtsu
Slub data structure
Slub data structure
Masami Ichikawa
Bgworkerで簡易クラスタ管理
Bgworkerで簡易クラスタ管理
Masahiko Sawada
initとプロセス再起動
initとプロセス再起動
Takashi Takizawa
Kernel fcache-bug
Kernel fcache-bug
MITSUNARI Shigeo
initramfsについて
initramfsについて
Kazuhiro Nishiyama
“bcache”を使ってSSDの速さと HDDの大容量のいいとこどり 2015-12-12
“bcache”を使ってSSDの速さと HDDの大容量のいいとこどり 2015-12-12
Nobuto Murata
Slub alloc and free
Slub alloc and free
Masami Ichikawa
前期講座09
前期講座09
Takenori Nakagawa
Rancher meetup #02
Rancher meetup #02
morito toshiyuki
Docker やってみた
Docker やってみた
Fumihiko Nishio
Redisととあるシステム
Redisととあるシステム
Takehiro Torigaki
C++のビルド高速化について
C++のビルド高速化について
AimingStudy
B lack jumbodog 運転と改造のすすめ
B lack jumbodog 運転と改造のすすめ
Shinichi Hirauchi
OSC2012-KANSAI@Kyoto JOSUG
OSC2012-KANSAI@Kyoto JOSUG
Hideki Saito
デバドラを書いてみよう!
デバドラを書いてみよう!
Masami Ichikawa
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Tadayasu Yotsu
Memory sanitizer
Memory sanitizer
MITSUNARI Shigeo
What's hot
(20)
CouchDB JP & BigCouch
CouchDB JP & BigCouch
Haskell超初心者勉強会11
Haskell超初心者勉強会11
Node-v0.12の新機能について
Node-v0.12の新機能について
Slub data structure
Slub data structure
Bgworkerで簡易クラスタ管理
Bgworkerで簡易クラスタ管理
initとプロセス再起動
initとプロセス再起動
Kernel fcache-bug
Kernel fcache-bug
initramfsについて
initramfsについて
“bcache”を使ってSSDの速さと HDDの大容量のいいとこどり 2015-12-12
“bcache”を使ってSSDの速さと HDDの大容量のいいとこどり 2015-12-12
Slub alloc and free
Slub alloc and free
前期講座09
前期講座09
Rancher meetup #02
Rancher meetup #02
Docker やってみた
Docker やってみた
Redisととあるシステム
Redisととあるシステム
C++のビルド高速化について
C++のビルド高速化について
B lack jumbodog 運転と改造のすすめ
B lack jumbodog 運転と改造のすすめ
OSC2012-KANSAI@Kyoto JOSUG
OSC2012-KANSAI@Kyoto JOSUG
デバドラを書いてみよう!
デバドラを書いてみよう!
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Memory sanitizer
Memory sanitizer
Viewers also liked
無名関数のすすめ
無名関数のすすめ
Shoichi Kakizaki
川又康平 20160428
川又康平 20160428
basicinc_dev
turbolinks攻略
turbolinks攻略
basicinc_dev
インフラ(Aws)覚えたいそんなあなたへ!
インフラ(Aws)覚えたいそんなあなたへ!
basicinc_dev
Linuxのファイルシステムについて調べてみた
Linuxのファイルシステムについて調べてみた
basicinc_dev
Zaru 20160428
Zaru 20160428
basicinc_dev
Safe stringにgsubを実行できるように対応
Safe stringにgsubを実行できるように対応
basicinc_dev
Ruby under the hood
Ruby under the hood
basicinc_dev
悪いRegexと良いregexと最良regex
悪いRegexと良いregexと最良regex
basicinc_dev
Have fun-with-ruby
Have fun-with-ruby
basicinc_dev
Yamakado 20160428
Yamakado 20160428
basicinc_dev
マーケティング視点でのデザイン
マーケティング視点でのデザイン
basicinc_dev
構造化データマークアップでステキな検索結果を手に入れる
構造化データマークアップでステキな検索結果を手に入れる
basicinc_dev
君に届け!〜カテゴライズしたユーザーにメッセージを送る〜
君に届け!〜カテゴライズしたユーザーにメッセージを送る〜
basicinc_dev
画像処理アルゴリズム入門とcanvas
画像処理アルゴリズム入門とcanvas
basicinc_dev
Mini magickでの画像合成
Mini magickでの画像合成
Yoshiki Kobayashi
Js初心者だった僕が武器を手に入れるまで ~ fall in love with react ~
Js初心者だった僕が武器を手に入れるまで ~ fall in love with react ~
basicinc_dev
エンジニアがチームで数字を追って得たもの
エンジニアがチームで数字を追って得たもの
basicinc_dev
メール送信におけるスパム認定のリスクと対策
メール送信におけるスパム認定のリスクと対策
basicinc_dev
AWS VPC ~インフラエンジニアへの道~
AWS VPC ~インフラエンジニアへの道~
basicinc_dev
Viewers also liked
(20)
無名関数のすすめ
無名関数のすすめ
川又康平 20160428
川又康平 20160428
turbolinks攻略
turbolinks攻略
インフラ(Aws)覚えたいそんなあなたへ!
インフラ(Aws)覚えたいそんなあなたへ!
Linuxのファイルシステムについて調べてみた
Linuxのファイルシステムについて調べてみた
Zaru 20160428
Zaru 20160428
Safe stringにgsubを実行できるように対応
Safe stringにgsubを実行できるように対応
Ruby under the hood
Ruby under the hood
悪いRegexと良いregexと最良regex
悪いRegexと良いregexと最良regex
Have fun-with-ruby
Have fun-with-ruby
Yamakado 20160428
Yamakado 20160428
マーケティング視点でのデザイン
マーケティング視点でのデザイン
構造化データマークアップでステキな検索結果を手に入れる
構造化データマークアップでステキな検索結果を手に入れる
君に届け!〜カテゴライズしたユーザーにメッセージを送る〜
君に届け!〜カテゴライズしたユーザーにメッセージを送る〜
画像処理アルゴリズム入門とcanvas
画像処理アルゴリズム入門とcanvas
Mini magickでの画像合成
Mini magickでの画像合成
Js初心者だった僕が武器を手に入れるまで ~ fall in love with react ~
Js初心者だった僕が武器を手に入れるまで ~ fall in love with react ~
エンジニアがチームで数字を追って得たもの
エンジニアがチームで数字を追って得たもの
メール送信におけるスパム認定のリスクと対策
メール送信におけるスパム認定のリスクと対策
AWS VPC ~インフラエンジニアへの道~
AWS VPC ~インフラエンジニアへの道~
Similar to HUで6000万pvのトラフィックを捌くまでに起ったことをありのままに話すぜ
Handlersocket etc. 20110906
Handlersocket etc. 20110906
akirahiguchi
Solr meeting in Japan 2011
Solr meeting in Japan 2011
Takahiko Ito
机上の Kubernetes - 形式手法で見るコンテナオーケストレーション #NGK2016B
机上の Kubernetes - 形式手法で見るコンテナオーケストレーション #NGK2016B
y_taka_23
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Masahiro Nagano
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
akirahiguchi
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
Insight Technology, Inc.
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
Kazuho Oku
Kyoto Tycoon Guide in Japanese
Kyoto Tycoon Guide in Japanese
Mikio Hirabayashi
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
Yoshinori Matsunobu
Handlersocket 20110517
Handlersocket 20110517
akirahiguchi
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
知教 本間
Introduction of Rancher at OSC Tokyo 17 Spring
Introduction of Rancher at OSC Tokyo 17 Spring
Go Chiba
OpenStack 101
OpenStack 101
Rongze Zhu
配布用Beginnerならきっと役立つmaster slave環境
配布用Beginnerならきっと役立つmaster slave環境
yut148atgmaildotcom
EchoyaGinhanazeSu_inoka.pptx
EchoyaGinhanazeSu_inoka.pptx
keink
LINEのMySQL運用について
LINEのMySQL運用について
LINE Corporation
Dbts2012 unconference wttrw_yazekatsu_publish
Dbts2012 unconference wttrw_yazekatsu_publish
Yohei Azekatsu
Hol012 windowsコンテナー始動
Hol012 windowsコンテナー始動
Tech Summit 2016
Cld020 microsoft azure_stack_iaa_s_deep_dive
Cld020 microsoft azure_stack_iaa_s_deep_dive
Tech Summit 2016
Cld020 microsoft azure_stack_iaa_s_deep_dive
Cld020 microsoft azure_stack_iaa_s_deep_dive
Tech Summit 2016
Similar to HUで6000万pvのトラフィックを捌くまでに起ったことをありのままに話すぜ
(20)
Handlersocket etc. 20110906
Handlersocket etc. 20110906
Solr meeting in Japan 2011
Solr meeting in Japan 2011
机上の Kubernetes - 形式手法で見るコンテナオーケストレーション #NGK2016B
机上の Kubernetes - 形式手法で見るコンテナオーケストレーション #NGK2016B
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
Kyoto Tycoon Guide in Japanese
Kyoto Tycoon Guide in Japanese
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
Handlersocket 20110517
Handlersocket 20110517
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
Introduction of Rancher at OSC Tokyo 17 Spring
Introduction of Rancher at OSC Tokyo 17 Spring
OpenStack 101
OpenStack 101
配布用Beginnerならきっと役立つmaster slave環境
配布用Beginnerならきっと役立つmaster slave環境
EchoyaGinhanazeSu_inoka.pptx
EchoyaGinhanazeSu_inoka.pptx
LINEのMySQL運用について
LINEのMySQL運用について
Dbts2012 unconference wttrw_yazekatsu_publish
Dbts2012 unconference wttrw_yazekatsu_publish
Hol012 windowsコンテナー始動
Hol012 windowsコンテナー始動
Cld020 microsoft azure_stack_iaa_s_deep_dive
Cld020 microsoft azure_stack_iaa_s_deep_dive
Cld020 microsoft azure_stack_iaa_s_deep_dive
Cld020 microsoft azure_stack_iaa_s_deep_dive
Recently uploaded
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(10)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
HUで6000万pvのトラフィックを捌くまでに起ったことをありのままに話すぜ
1.
HUで6000万PVのトラフィッ クを捌くまでに起ったことを ありのままに話すぜ CMT SAITO
2.
1.自己紹介 斎藤です。ビールが好きです。最近は焼酎を飲んでいます。
3.
3. 某クライアント向けのサーバー構成
4.
3.解析サーバー構成(EC2) 解析サーバー(c3.xlarge) => 解析用のRubyプロセス10個 x
2台 集計サーバー (c3.xlarge) => fluentdの集計用 out_exec_filterプロセス6個 x 2台 データベース(c3.2xlarge) => MongoDB ReplicaSet構成 primary, slave, arbiter(t2.small) トラッキング(m3.medium) => Nginx, td-agent
5.
3.解析サーバー構成(DynamoDB)
6.
2. HUの解析インフラ
7.
2. HUの解析インフラ ・Nginx で、トラッキングのアクセスを
ltsv形式で出力 ・td-agentのinput-tail で拾って fluent-masterへ送信 ・fluent-materでセッション単位の集計を行う ・analyzer で解析処理
8.
4.トラフィック
9.
5.導入手順 1. CloudFormationで環境構築 4000万
PVくらいのサイトにHUの解析タグを埋めて計測したい ↓ プロダクション環境のタグを渡したら既存クライアント全滅する ↓ 専用環境が必要 => CloudFormation で環境構築できるようにした
10.
5.導入手順 2. トラッキングサーバーで計測 「トラッキングサーバーはビーコン用の1pxの
GIF画像を配信するだけだし、 Nginxは優秀だからいけるはず!!」 ↓ ぜんぜん余裕、なんなら t2.microでも問題ない ↓ この時点では fluent-master へはトラフィック送らずに実測値を計測 access_log => td-agent(input_tail)×=> fluent-master
11.
5.導入手順 3. fluent-masterで集計 nginx
でトラフィックみたら6000万PV くらいだった(聞いていた話の 1.5倍) ↓ まずはプロダクション環境と同じ構成でトラフィックを受けてみる (c3.large 1台、multi process 3) ↓ CPU使用率、ロードアベレージ、ともに全然上らず、MongoDBも余裕の状態 しかし、集計は全然できていない
12.
5.導入手順 3. fluent-masterで集計 DynamoDBがボトルネックになっていた。 =>
書き込みスループットを 50 => 400くらいに変更 ↓ 無事、MongoDB氏 死亡 => Index の張り方に問題があったので修正 & スケールアップ c3.xlarge=>c3.2xlarge ↓ それでも集計に遅延発生 => プロセス数 を3 => 6へ、それに伴いスケールアップ & スケールアウト
13.
5.導入手順 4. analyzerで解析 処理が遅延しているので解析プロセス数を
6 => 10へ それにともないスケールアップ & スケールアウト ↓ 無事、MongoDB氏 死亡 やはり、Index に問題あり、修正することで安定稼動 ※ 1セッションの解析で 7Secくらい掛っていたのが、数ミリSecへ
14.
6.まとめ ボトルネックになるのはデータベースであることがほとんど トラフィックが小さいうちはインデックスの問題は露見しない CPU使用率、ロードアベレージが低いと不安になる(この感覚が正しい) DynamoDBは優れたソリューション、今後はフルマネージドなインフラをどれ だけ選定できるかが鍵になる HUは、Fluentd を捨てて Kinesiss
に移行すると思う 営業の持ってくる数字を信じてはいけない
Download now