Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

アメーバピグにおける自作サーバ運用

46,788 views

Published on

自作サーバカンファレンスで発表した資料です。
まあustででてるんだし、だした所でということでだしちゃいましょう。

Published in: Technology

アメーバピグにおける自作サーバ運用

  1. 1. <ul><li>自作サーバ運用 </li></ul><ul><li>アメーバピグ編 </li></ul>株式会社サイバーエージェント 桑野 章弘
  2. 2. 自己紹介
  3. 3. 自己紹介 <ul><li>桑野 章弘 </li></ul><ul><li>株式会社サイバーエージェント </li></ul><ul><li>インフラエンジニア </li></ul><ul><ul><li>サーバインフラの設計・構築・運用など </li></ul></ul>
  4. 4. アジェンダ <ul><li>自作サーバの導入状況 </li></ul><ul><li>アメーバピグについて </li></ul><ul><li>サーバについて </li></ul><ul><li>メリット・デメリット </li></ul><ul><li>まとめ </li></ul>
  5. 5. 自作サーバの導入状況
  6. 6. の前に、、、導入の目的 <ul><li>コストダウン </li></ul><ul><li>DCの使用効率の向上(消費電力の削減、ラック集積度向上) </li></ul><ul><li>HW情報収集 </li></ul>
  7. 7. 自作サーバの用途 <ul><li>ストレージサーバ </li></ul><ul><ul><li>低コストで安定したストレージサーバ </li></ul></ul><ul><li>高密度サーバ </li></ul><ul><ul><li>スケールアウト前提のサーバ </li></ul></ul><ul><ul><li>AtomモデルとCore2Quadモデルを用途毎に使い分け </li></ul></ul>
  8. 8. 自作サーバの例[ストレージサーバ]
  9. 9. 自作サーバの例[ストレージサーバ]
  10. 10. 自作サーバの例[高密度サーバ]
  11. 11. 自作サーバの例[高密度サーバ]
  12. 12. 自作サーバ台数 <ul><li>200台前後 </li></ul><ul><ul><li>2009/11現在 </li></ul></ul><ul><ul><li>8割以上がアメーバピグで使用 </li></ul></ul><ul><li>->と、言うわけなので今回はアメーバピグでの使用状況についてしゃべります。 </li></ul>
  13. 13. アメーバピグについて
  14. 14. アメーバピグとは <ul><li>Amebaで提供しているアバターサービス </li></ul><ul><li>2009年2月 オープン </li></ul><ul><li>2009年11月現在 150万ユーザ </li></ul>
  15. 16. サーバについて
  16. 17. サーバについて <ul><li>サーバ仕様 </li></ul><ul><li>サーバスペック </li></ul>
  17. 18. サーバ仕様 <ul><li>M/BはMini-ITX </li></ul><ul><ul><li>縦置きするにはMicro-ATXでは厳しい </li></ul></ul>
  18. 19. サーバ仕様
  19. 20. サーバ仕様 <ul><li>サーバ筐体はM/Bを固定するアクリル板 </li></ul>
  20. 21. アクリル板
  21. 22. アクリル板
  22. 23. HDD <ul><li>2.5InchSATA * 2 </li></ul><ul><li>マウンタは 2.5InchHDD を 2 つマウントできるタイプ </li></ul>
  23. 24. HDD <ul><li>2.5InchSATA * 2 </li></ul><ul><li>マウンタは 2.5InchHDD を 2 つマウントできるタイプ </li></ul>
  24. 25. サーバ仕様 <ul><li>固定方法 </li></ul><ul><ul><li>ネジ止め </li></ul></ul>
  25. 26. サーバ仕様 <ul><li>固定方法 </li></ul><ul><ul><li>両面テープ </li></ul></ul>
  26. 27. サーバ仕様 <ul><li>ラッキング </li></ul><ul><ul><li>電源で安定を取って縦置き </li></ul></ul><ul><ul><li>簡易ブレード的な、、、 </li></ul></ul>
  27. 28. サーバ仕様 <ul><li>ラッキング </li></ul><ul><ul><li>16 台 1 組( 6U ) </li></ul></ul>サーバ 8 台を前後から縦置き 合計 16 台を 1 セット
  28. 29. サーバ仕様 <ul><li>ラッキング </li></ul><ul><ul><li>1 ラック最大 96 台( 16 台 * 5 セット)搭載可能 </li></ul></ul><ul><ul><li>もちろん消費電力の兼ね合いがあります </li></ul></ul>
  29. 30. サーバの使い分け <ul><li>2種類のサーバを用途毎に使い分け </li></ul><ul><ul><li>AtomはCPUは使わない用途 </li></ul></ul><ul><ul><li>Core2QuadはCPUも使う用途 </li></ul></ul>
  30. 31. サーバスペック <ul><li>Core2Quad モデル </li></ul>Intel Core2Quad Q8400S CPU 2.5Inch 160GB 7200rpm HDD * 1 台 HDD ATX 200W 変換効率 75% 電源 DDR2 667 2GB * 2 枚 Memory Dynatron T195 CPUFAN Intel DG41MJ M/B
  31. 32. サーバスペック <ul><li>Atom モデル </li></ul>2.5Inch 160GB 7200rpm HDD * 1 台 HDD ATX 200W 変換効率 75% 電源 DDR2 667 2GB * 1 枚 Memory Intel Atom 330 CPU Intel D945GCLF2 M/B
  32. 33. アメーバピグでの使い分け例 <ul><li>Core2Quadモデル </li></ul><ul><ul><li>Web、APサーバ等のロードバランサ等で負荷分散される用途 </li></ul></ul>
  33. 34. アメーバピグでの使い分け例 <ul><li>Atomモデル </li></ul><ul><ul><li>分散KVS </li></ul></ul>MySQL 分散 KeyValue ノード 自作サーバ マスタデータの入っている DB ベンダーサーバ 分散 KeyValue マスタ 定期的にデータを再分配する ベンダーサーバ MySQL MySQL
  34. 35. サーバ構築 <ul><li>サーバ構築は社員 </li></ul><ul><ul><li>1台の組み立てに20分前後 </li></ul></ul><ul><ul><li>100台の構築~インストール、サーバ設定まで7hour程度 </li></ul></ul><ul><ul><li>インストールはPXE+自作スクリプト </li></ul></ul>
  35. 36. 構築の様子
  36. 37. 構築の様子
  37. 38. メリット・デメリット
  38. 39. メリット <ul><li>直ぐに構成改善できる </li></ul><ul><li>電源容量がすくなくてすむ </li></ul><ul><li>コストパフォーマンス </li></ul>
  39. 40. メリット <ul><li>直ぐに構成改善できる </li></ul><ul><ul><li>一番最初のバージョンは電源ユニットを別出しにしていたが、取り回しが悪かったので変更。 </li></ul></ul>
  40. 41. 最初のバージョン
  41. 42. メリット <ul><li>消費電力がすくなくてすむ </li></ul><ul><ul><li>よっぽどの高負荷でない限りは一般的な1Uサーバの6割くらいの消費電源 </li></ul></ul>
  42. 43. メリット <ul><li>消費電力[Core2Quadモデル] </li></ul><ul><ul><li>アイドル時 0.4~0.5 A </li></ul></ul><ul><ul><li>最大負荷時 0.9~1.0 A </li></ul></ul>
  43. 44. メリット <ul><li>消費電力[Atomモデル] </li></ul><ul><ul><li>アイドル時 0.3~0.4 A </li></ul></ul><ul><ul><li>最大負荷時 0.4~0.5 A </li></ul></ul>
  44. 45. メリット <ul><li>コストパフォーマンス </li></ul><ul><ul><li>Atomサーバは安価 </li></ul></ul>
  45. 46. デメリット <ul><li>安定性 </li></ul><ul><li>機材の確保 </li></ul><ul><li>個人の力量が問われる </li></ul><ul><li>温度 </li></ul><ul><li>耐震 </li></ul>
  46. 47. デメリット <ul><li>安定性 </li></ul><ul><ul><li>言うほど悪くないよ </li></ul></ul><ul><ul><li>故障率は9ヶ月で4/200 </li></ul></ul><ul><ul><li>ただし、初期不良は結構あります </li></ul></ul>
  47. 48. デメリット <ul><li>機材の確保 </li></ul><ul><ul><li>常に同じ機材が入手できず無駄が出る </li></ul></ul><ul><ul><li>特にHDDとか、100台とかそろいづらいので代理店さん経由で購入 </li></ul></ul><ul><ul><li>在庫を持つ必要があるかもしれません </li></ul></ul>
  48. 49. デメリット <ul><li>個人の力量が問われる </li></ul><ul><ul><li>マニュアルは陳腐化する可能性が高い </li></ul></ul><ul><ul><li>作業工数削減(組み上げまで5~10分が理想と考えます) </li></ul></ul>
  49. 50. デメリット <ul><li>サーバの取り回し </li></ul><ul><ul><li>サーバのラック間移動をしたくない </li></ul></ul><ul><ul><li>用途から台数が多い </li></ul></ul>
  50. 51. デメリット <ul><li>サーバの取り回し </li></ul><ul><ul><li>独自サーバシリアル付番 </li></ul></ul><ul><ul><li>Tagged-VLAN導入 </li></ul></ul>
  51. 52. デメリット <ul><li>耐震 </li></ul><ul><ul><li>今後の課題 </li></ul></ul>
  52. 53. デメリット <ul><li>ラック内空調 </li></ul>サーバ背面から 排気されホットスポット 発生 サーバ前面 より吸気
  53. 54. デメリット <ul><li>ラック内空調改善 </li></ul>排気ユニットで ラック側面から排気 する サーバ前面 より吸気
  54. 55. ラック内空調ユニット
  55. 56. まとめ
  56. 57. まとめ <ul><li>考えないといけない事はたくさんある </li></ul><ul><li>ベンダーさんのサーバと比べちゃだめ、適材適所 </li></ul><ul><li>適所に合わせて作れる点が一番のメリット </li></ul><ul><li>全幅の信頼という訳にはいきませんw </li></ul>
  57. 58. 今後の構想 <ul><li>1U4Wayサーバ </li></ul><ul><ul><li>省スペースと高集積を両立 </li></ul></ul><ul><li>自作エンクロージャ </li></ul>
  58. 59. 1U4Wayサーバのイメージ
  59. 60. ご清聴ありがとうございました。

×