楽天のインフラのシステム規模、変遷、仮想化関連技術、今後の課題についての発表です。

1. 楽天インターネットスケーラブル コンピューティング 楽天株式会社 開発部 吉岡弘隆｜ April 23, 2010

4. 楽天グループのご紹介

5. 会社紹介（１３年目） 楽天株式会社／楽天グループ ・ 1997 年創業（ 13 年目） ・従業員数 （ 2008 年 12 月末現在 ） 単体： 2,081 人 連結： 4,874 人 ・拠点 東京、札幌、仙台、横浜、埼玉、新潟、名古屋、京都、大阪、神戸、広島、松山、福岡、鹿児島、沖縄 ニューヨーク、ボストン、シカゴ、サンフラン シスコ、ルクセンブルク、ロンドン、台湾、上海、ソウル、グアム

6. ブランド力の向上 楽天市場は国内 Web ブランド指数にて 1 位を獲得。 他サービスもランク上位に！ ＊：日経 BP コンサルティング調べ――「 Web ブランド調査 2010―I 」（ 2009 年 10 月実施）

7. ブランド力の向上 チームも上位に！！

8. 国内グループ流通総額推移 遂に 1 兆 1,000 億円を突破

9. 楽天会員の増加 楽天会員は 4,700 万人を突破

11. システム規模

12. トラフィック ピークトラフィックは上昇の一方。 年間トレンドでは年末商戦がピーク。

13. システム機器 現在ではネットワーク機器が数千台、サーバ機器はその数倍。 データセンタ集約

14. コンテンツ容量 NAS 静的コンテンツや画像・プログラムなどが置かれる、 ファイルサーバの総容量は５００Ｔｂｙｔｅ以上。

15. データベース容量 データベースにはＳＡＮを利用し。 ２５Ｔｂｙｔｅを超えるデータを格納。 DB SAN

17. サービスインフラの変遷

18. システムインフラ構成 Web App DB ＳＡＮ NAS 現在は一般的な web アプリケーション構成 （いわゆる三層モデル）

20. 最初は１台のサーバから Web App DB 全ての機能を 1 台のサーバに詰め込み 内蔵 ディスク

23. 楽天市場のシステム 64 インスタンス 買い物かご 店舗ページ 店舗編集 受注処理 オークション 商品登録 各種 API 商品ページ 共同購入 100 以上のドメイン 約 900 インスタンス プレゼント ケータイ ・・・ WebLogic Server SunFire25K

25. 最初は１台のサーバから Web App DB 全ての機能を 1 台のサーバに詰め込み 内蔵 ディスク

26. 機能分割＆負荷分散 アクセス増加にともない、 フロントの Web サーバと バックエンドを機能分割 内蔵 ディスク Web App DB ファイル 共有

27. 機能分割：Webサーバ分割 機能分割して負荷分散できる構成に変更。 ロードバランサによりスケールアウト データ分割によるスケールアップ Web App/DB ＋ファイル共有

28. 機能分割：NAS導入 ＤＢサーバがもっていたファイル共有機能を切り離して ＮＡＳを導入。 Web App/DB ＋ファイル共有 App/DB NAS

29. 機能分割：Appサーバ App サーバ分割してビジネスロジックによる負荷を DB から切り離し。 DB Web NAS App

30. 信頼性向上：SAN導入 ＳＡＮの導入により、ストレージ部分の信頼性の向上と 性能向上を実施 DB SAN

31. 負荷分散：スレーブDB導入 参照専用のスレーブＤＢを導入して、負荷分散と耐障害性を同時に向上。 App マスタ DB スレーブ DB ＳＡＮ

32. バックアップ：世代管理 Phase1 Phase2 Phase3 世代に応じたバックアップ方法の選択 ＳＡＮ Backup ストレージ Tape 装置 DB ＋ SAN NAS

33. バックアップ：サイト間バックアップ データセンタ間での相互バックアップ データセンタ A データセンタＢ DB ＋ SAN 、 NAS BackUp 外部倉庫 BackUp Tape Tape

34. トラフィック対応 画像トラフィックの増大により、今度は Web/NAS がボトルネックに。 Web NAS

35. トラフィック対応：キャッシュサーバ キャッシュサーバを導入して負荷軽減 Web NAS Cache

36. トラフィック対応：多段キャッシュ キャッシュを親子構成にして多段化 Web 親 Cache 小 Cache

37. トラフィック対応：CARP導入 ＣＡＲＰの導入により、キャッシュ効率を最適化 Web 小 Cache 親 Cache CARP

38. トラフィック対応： CDN導入 CDN を導入して負荷と設備投資を抑制 CDN Web 小 Cache 親 Cache CARP

39. トラフィック対応： CDN導入 コストが下がって、レスポンスが向上。 海外でのサービス品質も向上。 台湾でのレスポンス

40. 楽天市場のシステム 64 インスタンス 買い物かご 店舗ページ 店舗編集 受注処理 オークション 商品登録 各種 API 商品ページ 共同購入 100 以上のドメイン 約 900 インスタンス プレゼント ケータイ ・・・ WebLogic Server SunFire25K

44. 定期メンテナンス風景

45. セキュリティ： Rakuten-CERT SS 担当 システムセキュリティグループ 楽天 CSIRT セキュリティチーム（各グループのセキュリティ担当） SS 担当 SS 担当 SS 担当 SS 担当 社内に CSIRT を設立。日本 CSIRT 協議会へも加盟し、関係団体との連携を強化しています。 JPCERT/CC 他の CSIRT IPA

46. 仮想化関連技術の利用

48. サーバ仮想化：導入経緯 ３年前から検証を開始し、段階を踏んで順次導入。 ２００８ ２００７ ２００９ ２０１０ 技術比較・ 機能検証 開発環境や新規 サービスへ展開 主要サービスを 移行 プライベート クラウドへ

49. サーバ仮想化：おさらい 従来システム （ハードウェアとＯＳは１対１） 仮想化システム （同一ハードウェアに異なるＯＳを複数搭載可能） ハードウェア OS （ CPU 25% ） アプリケーション OS （ CPU 25% ） アプリケーション OS （ CPU 50% ） アプリケーション XenServer ハードウェア アプリケーション アプリケーション OS ベースに Xen/ ＸｅｎＳｅｒｖｅｒを採用

50. サーバ仮想化：現状調査 使用率１０％ まずは、特定サービスを対象にサンプル調査。 意外と可動率が低いものも多かった。

51. サーバ仮想化：サーバ集約 CPU 使用率の低いサーバを、仮想化を利用して集約 新型機 旧世代機

52. サーバ仮想化：相互影響排除 ハードウェア OS （ CPU 25% ） アプリケーション OS （ CPU 25% ） アプリケーション OS （ CPU 50% ） アプリケーション XenServer 仮想化システム リソースや設定を個別に管理可能 ハードウェア アプリケーション アプリケーション 従来システム 相乗りは可能だが同一リソースを利用 OS 高負荷！ 高負荷！ 影響 影響 影響 負荷や設定変更による相互影響を排除

53. サーバ仮想化：構築期間短縮 従来 仮想化 サーバ構築にかかる工数と期間を大幅に短縮 環境 コピー パラメータ 設定 機器調達 設置・配線 設置・配線 インストール パラメータ 設定

54. サーバ仮想化：マイグレーション対応 XenServer OS XenServer OS ハードウェア ハードウェア ハードウェアの違いを仮想化ソフトが吸収するため、 移行が簡単

56. その他の技術の利用

58. ROMA：基本的な動き Web 「キー」と「値」のペアのシンプルなデータベースで 「高速アクセスが可能」

59. ROMA：特徴 自動切り離し 障害発生 複数サーバを１つのデータベースにみたて、 「障害耐性」 が高い構成を 「低コスト」 に実現。 ホットスケール A B C B A A C C

60. ROMA：導入例 【 PC 】 【閲覧履歴】 楽天 ID で データを共有 トラベルや市場の閲覧履歴など複数サービスで活用 【モバイル】

61. ROMA （ KVS ）とＲＤＢの比較 ROMA ：機能比較 ○ ○ １．アクセス速度 × ○ ２．負荷分散化コスト ○ × ３．複雑な検索や集計 △ ROMA (KVS) ４．データ「品質」確保 ○ ＲＤＢ

63. hadoop ：基本的な動き コモディティサーバを複数台ならべて構築 Master slave データ 結果 データ データ データ データ データ データ データ データ データ データ データ データ

64. hadoop ：導入例 大量データを扱うバッチ処理などで活用し、数日かかっていた処理が数時間に改善。 【商品レコメンド】 数千万商品 × 数千万ユーザーから 「お勧めの商品」をリストアップ 【広告集計】 大量の広告配信ログを解析して、 データ分析やレポート作成

66. MogileFS ：基本的な動き StrageNode DB PC サーバをベースに安価なファイルシステムを構築 Tracker/Perbal Web A B C B A A C C

67. MogileFS ：導入例 画像共有サービスなどのファイルサーバとして活用。 導入コストを大幅に低減。

71. 今後の課題