[大図解]ピグライフはこう動いている

[ 大図解 ] ピグライフはこう動いている株式会社サイバーエージェントアメーバ事業本部プラットフォームディビジョンシステムディベロップメントグループ CA Developers Connect 　　　　　　　　　　　　　　　　　　　　　桑野　章弘

桑野章弘
インフラエンジニア
アメーバピグの運用／構築を担当
ピグライフの運用／構築を担当
Twitter
http:// twitter.com/kuwa_tw
Blog
http:// d.hatena.ne.jp/akuwano /
著書／活動
「 MySQL によるタフなサイトの作り方」
勉強会（ hbstudy, qpstudy ほか）などでの発表など
自己紹介

ピグライフ

ピグライフ
会員数
開始 3 週間で 100 万人あげあげ
トラフィック
1.3Gbps
同時接続数
120000 conn

ピグライフ
システム構成
どのようになっているか
あったこと
どんなことがあったか

ピグライフのアーキテクチャ [ リリース直後 ]
アーキテクチャ概要

アプリケーション
Node.js
websocket
データストア
mongoDB

ピグライフのアーキテクチャ[現在]
アプリケーション
Node.js
websocket （外から）
Socket 通信（内部通信）
データストア
mongoDB
静的ファイル
nginx

アーキテクチャ構成

アーキテクチャ構成
アメーバピグを基本としている
Webサーバ
ソケットサーバ
DBサーバ
アメーバピグと比べてアーキテクチャはシンプルになっている

アーキテクチャ構成[アメーバピグ] Web+AP サーバ Socket サーバ Storage サーバ DB サーバ KVS サーバ HTTP 独自プロトコル Socket サーバユーザ（ブラウザ） FrontEnd BackEnd Flash データリクエスト / 取得・ユーザ情報・チャットデータ・ゲームデータリクエスト / 取得必要なデータの取得ユーザの Flash データの保存などユーザ / エリア等の状態データユーザ / エリア等の状態データ（現在は無）

アーキテクチャ構成[ピグライフ] stat サーバ Socket サーバ mongodb サーバ HTTP WebSocket 接続 Node.js サーバユーザ（ブラウザ） FrontEnd BackEnd Flash データ -> リクエスト / 取得・ユーザ情報・チャットデータ -> リクエスト / 取得必要なデータの取得ユーザ / エリア等の状態データ

サーバ構成

リリース前構成 Stat サーバ Node.js サーバ MongoDB Log MongoDB ×6 行動ログの保存 mongos テストオープン時に実装

リリース時構成 Stat サーバ Node.js サーバ MongoDB Log MongoDB ×41 行動ログの保存サーバにも取得 1 シャード追加大量追加 mongos

リリース時構成 Stat サーバ Node.js サーバ MongoDB Log MongoDB ×41 行動ログの保存サーバにも取得 1 シャード追加大量追加 mongos ×3

現在時構成 Stat サーバ Node.js サーバ MongoDB Log MongoDB ×41 行動ログの保存サーバにも取得 3 シャード追加 ( 合計 7 シャード ) 大量追加 mongos ・・・・・ ×3

node.js サーバ : アーキテクチャ
サーバサイド js を動かすためのサーバ
Google の v8 エンジンを使用している

選定理由
event 駆動なので同時接続に強い
Javascript の mongodb との相性の良さ
WebSocket との相性の良さ

Node.js は 1CPU に 1 プロセスをとりっぱなしになるので、 Core 数分のプロセスを上げている
node.js mongodb driver が鬼門

node.js サーバ：クラスタ構成
各 node.js サーバは冗長確保のためクラスタ構成
クラスタは一度作り直している
旧 cluster は Gossip で通信できるものだったが起動に時間がかかるため mongodb-Socket 版を作成される

node.js サーバ：旧クラスタ構成 Nap サーバ各サーバでの通信リング間での通信 Nap サーバ Nap サーバ Nap サーバサーバ 1 　 OK サーバ 2 　 OK サーバ 3 　 NG サーバ 4 　 OK サーバ 1 　 OK サーバ 2 　 OK サーバ 3 　 NG サーバ 4 　 OK

node.js サーバ：現クラスタ構成 Nap サーバ各サーバの状態は mongodb 側に持つ Nap サーバ Nap サーバ MongoDB 各サーバの死活監視は相互に行うサーバ 1 　 OK サーバ 2 　 OK サーバ 3 　 NG サーバ 4 　 OK

静的配信サーバ
Nginx を使用
各 swf はそれほど量はないので共有ディスクなどはまだ使用していない

静的配信サーバ：着せ替えサムネイル
更新
各静的配信サーバへ WebDAV で配信
冗長化は heartbeat を使用

静的配信サーバ：着せ替えサムネイル stat サーバ stat サーバ stat サーバ WebDAV でアップロード heartbeat

mongodb サーバ
Document 志向 DB と呼ばれる種類の NoSQL サーバ
クエリが js の形式で書かれ、データベースも JSON で表現される事が特徴
冗長、スケーラビリティの確保をやってくれる
レプリカ復旧
シャーディング
生死判別と冗長化
負荷分散
今の所（バグはあるが）想定どおりには動いているイメージ
運用負荷自体は低い

mongodb サーバ：アーキテクチャ
選定理由
運用負荷が軽い
スケールしやすい
冗長も取りやすい
Node.js との相性はいい
スキーマレスなので構成変更が簡単
スキーマ構成は何度か変更している
データの保全性は低い
アプリでの対応
加えてバックアップの取得はこまめに必要

mongodb サーバ：バックアップ・リストア
mongodump
1.8.1 では mongos 経由で mongodump が取れなかったが、 1.8.2 では取れる
バックアップサーバ MongoDB mongos mongodump mongodump -v --host 127.0.0.1 --port 27020 --out /backup/mongodb/data/testdatabase バックアップ

mongorestore
同様に mongos 経由で mongorestore コマンドを投げる事で Sharding 構成でレストア可能
バックアップサーバ MongoDB mongos mongorestore mongorestore -v --host 127.0.0.1 --port 27020 --db testdatabase --drop /backup/mongodb/data/testdatabase/ リストア

fsync
fsync コマンドでライトのロックをかけてファイル単位でのバックアップも可能
use admin switched to db admin > db.runCommand({fsync:1,lock:1}) ロック > db.$cmd.sys.unlock.findOne(); アンロック

mongodb サーバ：いろんな問題
障害ポイント
RAID カードの性能
I/O 性能が要らないわけではない
Chunk が偏る
手動移動
（ export -> import)
Mongos の自動 Chunk 認識がされない
修正予定らしい
Collection の分割
クエリの最適化とからめて
Config サーバの書き換え
泥臭い運用

その他
サーバ構築
サーバ構築は全面的に、 PXE ＋ Chef での構築に移行中
各サーバへの一括処理は、 tomahawk （社内謹製 ssh ラッパー : https:// github.com/oinume/tomahawk ）を使用
継続的インテグレーションツールは Jenkins 先生で。

まとめ
Node.js と mongodb のサービスではかなり国内含めて大規模サービスになっているのではないかと思います、、、
今後も色々ノウハウ公開とかしていけたらと思います !

まとめ
ご清聴ありがとう
ございました

http://ameblo.jp	3827
http://ameba-pig.com	3192
http://www.gamebusiness.jp	418
http://s.ameblo.jp	49
http://game-blog-ranking.com	24
http://rss.ameba.jp	24
http://blog.ameba.jp	21
http://paper.li	7
http://webcache.googleusercontent.com	6
http://feedblog.ameba.jp	6
http://a0.twimg.com	4
http://gamebusiness.jp	4
http://cache.yahoofs.jp	2
http://www.slideshare.net	2
http://s.deeeki.com	2
http://111.68.211.119	2
http://slideclip.b-prep.com	2
http://twitter.com	1
http://statichtml.jp	1
http://rssblog.ameba.jp	1
http://us-w1.rockmelt.com	1

[大図解]ピグライフはこう動いている

by Akihiro Kuwano on Aug 17, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

21 Embeds 7,596

Statistics

[大図解]ピグライフはこう動いている — Presentation Transcript