Scaling? Cybozu Labs, Inc. Kazuho Oku

What is Scaling? 「スケール」とはどういうことなのか 自分の過去を振り返った値をピックアップ details may vary 2009 年 9 月 25 日 Scaling?

「スケール」とはどういうことなのか

自分の過去を振り返った値をピックアップ

details may vary

演算速度 ムーアの法則 18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる Gordon E. Moore, Founder of Intel Corporation 1989 年 : 80286 @ 12MHz / 1MB 2 MIPS? 2009 年 : Core 2 Quad @ 3GHz / 4GB 60,000 MIPS? 2009 年 9 月 25 日 Scaling?

ムーアの法則

18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる

Gordon E. Moore, Founder of Intel Corporation

1989 年 : 80286 @ 12MHz / 1MB

2 MIPS?

2009 年 : Core 2 Quad @ 3GHz / 4GB

60,000 MIPS?

2010 年には 20GHz? http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm 2009 年 9 月 25 日 Scaling?

http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm

フラッシュメモリ ファンの法則 フラッシュメモリの容量は 12 ヶ月で 2 倍 黄昌圭 Samsung Electronics 社長 1998 年 : 4-8MB (MemoryStick 発売時 ) 2009 年 : 1-32GB (SD カード ) 2009 年 9 月 25 日 Scaling?

ファンの法則

フラッシュメモリの容量は 12 ヶ月で 2 倍

黄昌圭 Samsung Electronics 社長

1998 年 : 4-8MB (MemoryStick 発売時 )

2009 年 : 1-32GB (SD カード )

HDD 1989 年 : 40MB 2009 年 : 500GB 2009 年 9 月 25 日 Scaling?

1989 年 : 40MB

2009 年 : 500GB

インターネット回線 1999 年 : 56Kbps-128Kbps (ADSL 直前 ) 2009 年 : 1.5Mbps-100Mbps 2009 年 9 月 25 日 Scaling?

1999 年 : 56Kbps-128Kbps (ADSL 直前 )

2009 年 : 1.5Mbps-100Mbps

スケールしないものもある HDD のレイテンシ ≒ 回転数 20 年で約 ½ インターネットのレイテンシ 東京〜サンフランシスコは約 8,300km 光の速度で 55msec (RTT) 2009 年 9 月 25 日 Scaling?

HDD のレイテンシ

≒ 回転数

20 年で約 ½

インターネットのレイテンシ

東京〜サンフランシスコは約 8,300km

光の速度で 55msec (RTT)

4Gbps って速いの ? 2009 年 9 月 25 日 Scaling?

￥ 4,350- のハブでも 12Gbps 「スイッチング・ファブリック 12Gbps 」 4Gbps なら￥ 1,450- 2009 年 9 月 25 日 Scaling?

「スイッチング・ファブリック 12Gbps 」

4Gbps なら￥ 1,450-

Perl で書いた HTTP サーバで 10Gbps Plack::Impl::Standalone::Prefork HTTP パーサ部分は C ベンチマーク条件 linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz) 約 2MB の画像を HTTP GET 2009 年 9 月 25 日 Scaling?

Plack::Impl::Standalone::Prefork

HTTP パーサ部分は C

ベンチマーク条件

linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz)

約 2MB の画像を HTTP GET

HDD からランダムリードなら ... HDD から平均 1KB のデータをランダムリードしているなら 0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec ＝ 約 2,000 台 2009 年 9 月 25 日 Scaling?

HDD から平均 1KB のデータをランダムリードしているなら

0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec

＝ 約 2,000 台

遅いのは HDD? HDD にアクセスするソフトウェア RDBMS ファイルストレージ SSD は部分的解決策 問題点は価格 他に CPU intensive な処理もある 例 : XML のパース 2009 年 9 月 25 日 Scaling?

HDD にアクセスするソフトウェア

RDBMS

ファイルストレージ

SSD は部分的解決策

問題点は価格

他に CPU intensive な処理もある

例 : XML のパース

なぜ「スケールアウト」が流行るのか スケールアウトは 2000 年代のトレンド ソフトウェア製品からソフトウェアサービスへ マスメディアからコミュニケーションツールへ 例 : Yahoo! vs. Mixi 多人数間の、疎なソーシャルグラフ ユーザーが 1,000 万人いても、友達は 100 人とか 規模は増大したが、グラフは疎になった ↓ ( 従来よりも ) スケールアウトが容易な課題 2009 年 9 月 25 日 Scaling?

スケールアウトは 2000 年代のトレンド

ソフトウェア製品からソフトウェアサービスへ

マスメディアからコミュニケーションツールへ

例 : Yahoo! vs. Mixi

多人数間の、疎なソーシャルグラフ

ユーザーが 1,000 万人いても、友達は 100 人とか

規模は増大したが、グラフは疎になった

↓

( 従来よりも ) スケールアウトが容易な課題

代表的な「スケールアウト」技術 RDB Sharding MapReduce / Hadoop もしくは Web クローラ等 KVS memcached, Flare, kumofs, ... Message Queue ActiveMQ, AMQP, Q4M, ... 2009 年 9 月 25 日 Scaling?

RDB Sharding

MapReduce / Hadoop

もしくは Web クローラ等

KVS

memcached, Flare, kumofs, ...

Message Queue

ActiveMQ, AMQP, Q4M, ...

3 層構成 HTTP サーバ 静的コンテンツのハンドリング アプリケーションサーバへの中継 アプリケーションサーバ プログラマの作業をここに集中 生産性の高さが重要 ストレージ RDBMS, memcached, MQ, ... 2009 年 9 月 25 日 Scaling?

HTTP サーバ

静的コンテンツのハンドリング

アプリケーションサーバへの中継

アプリケーションサーバ

プログラマの作業をここに集中

生産性の高さが重要

ストレージ

RDBMS, memcached, MQ, ...

「スケールアップ」の逆襲 規模の拡大 vs. ムーアの法則 2009 年 9 月 25 日 Scaling?

規模の拡大 vs. ムーアの法則