Scaling

Scaling? Cybozu Labs, Inc. Kazuho Oku

What is Scaling?
「スケール」とはどういうことなのか
自分の過去を振り返った値をピックアップ
details may vary
2009 年 9 月 25 日 Scaling?

演算速度
ムーアの法則
18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる
Gordon E. Moore, Founder of Intel Corporation
1989 年 : 80286 @ 12MHz / 1MB
2 MIPS?
2009 年 : Core 2 Quad @ 3GHz / 4GB
60,000 MIPS?

2010 年には 20GHz?
http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm

フラッシュメモリ
ファンの法則
フラッシュメモリの容量は 12 ヶ月で 2 倍
黄昌圭 Samsung Electronics 社長
1998 年 : 4-8MB (MemoryStick 発売時 )
2009 年 : 1-32GB (SD カード )

HDD
1989 年 : 40MB
2009 年 : 500GB

インターネット回線
1999 年 : 56Kbps-128Kbps (ADSL 直前 )
2009 年 : 1.5Mbps-100Mbps

スケールしないものもある
HDD のレイテンシ
≒ 回転数
20 年で約 ½
インターネットのレイテンシ
東京〜サンフランシスコは約 8,300km
光の速度で 55msec (RTT)

4Gbps って速いの ? 2009 年 9 月 25 日 Scaling?

￥ 4,350- のハブでも 12Gbps
「スイッチング・ファブリック 12Gbps 」
4Gbps なら￥ 1,450-

Perl で書いた HTTP サーバで 10Gbps
Plack::Impl::Standalone::Prefork
HTTP パーサ部分は C
ベンチマーク条件
linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz)
約 2MB の画像を HTTP GET

HDD からランダムリードなら ...
HDD から平均 1KB のデータをランダムリードしているなら
0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec
＝約 2,000 台

遅いのは HDD?
HDD にアクセスするソフトウェア
RDBMS
ファイルストレージ
SSD は部分的解決策
問題点は価格
他に CPU intensive な処理もある
例 : XML のパース

なぜ「スケールアウト」が流行るのか
スケールアウトは 2000 年代のトレンド
ソフトウェア製品からソフトウェアサービスへ
マスメディアからコミュニケーションツールへ
例 : Yahoo! vs. Mixi
多人数間の、疎なソーシャルグラフ
ユーザーが 1,000 万人いても、友達は 100 人とか
規模は増大したが、グラフは疎になった
↓
( 従来よりも ) スケールアウトが容易な課題

代表的な「スケールアウト」技術
RDB Sharding
MapReduce / Hadoop
もしくは Web クローラ等
KVS
memcached, Flare, kumofs, ...
Message Queue
ActiveMQ, AMQP, Q4M, ...

3 層構成
HTTP サーバ
静的コンテンツのハンドリング
アプリケーションサーバへの中継
アプリケーションサーバ
プログラマの作業をここに集中
生産性の高さが重要
ストレージ
RDBMS, memcached, MQ, ...

「スケールアップ」の逆襲
規模の拡大 vs. ムーアの法則

http://developer.cybozu.co.jp	1238
http://webcache.googleusercontent.com	17
http://74.125.153.132	3
http://www.slideshare.net	3

Scaling

by kazuho on Sep 28, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 1,261

Statistics

Scaling — Presentation Transcript