アメーバピグにおける自作サーバ運用

45,382 views

Published on

自作サーバカンファレンスで発表した資料です。
まあustででてるんだし、だした所でということでだしちゃいましょう。

Published in: Technology
3 Comments
19 Likes
Statistics
Notes
No Downloads
Views
Total views
45,382
On SlideShare
0
From Embeds
0
Number of Embeds
22,909
Actions
Shares
0
Downloads
0
Comments
3
Likes
19
Embeds 0
No embeds

No notes for slide
  • アメーバピグについて スペック 実際の運用 発生した問題と解決方法 自作サーバの導入状況・目的 アメーバピグについて スペック 実際の運用 発生した問題と解決方法
  • 実際に試さないとわからないこともある、生の情報を! いろいろ言っていますが、結局の所はやりたかっただけです。 自作サーバを作ってます、という際にコストダウンはよく言われますが、現在の自作サーバではコスト自体画期的というわけではないので(もちろん安いですが) この中で優先度が高いのはDCの使用効率の向上ということになります。
  • 1U サーバははてなさんや、 cerevo さんと重複する部分も多いので
  • ボリュームディスカウントが効くので。半額以下。
  • ボリュームディスカウントが効くので。半額以下。 MicroATX   24x24 MiniITX 17x17
  • 以前は出来合いの板を買っていた 現在はアクリル業者に設計図を渡して製作 ボリュームディスカウントが効くので。半額以下。
  • HDD + SSDが可能。
  • HDD + SSDが可能。
  • 基本的にはネジ ネジ穴がある部分はネジで固定 ねじ穴がない部分の固定に使用 大人でも取れないくらい強力  運用しはじめて半年経っているが全く取れる気配はありませんw
  • 基本的にはネジ ネジ穴がある部分はネジで固定 ねじ穴がない部分の固定に使用 大人でも取れないくらい強力  運用しはじめて半年経っているが全く取れる気配はありませんw
  • ボリュームディスカウントが効くので。半額以下。
  • が、実績 80 台は実際に搭載できています。
  • Intel DG45FC と悩み Intel Core2Quad WESTERN DIGITAL WD1600BEKT Trancend TS256MLQ64V6U PC2-5300 ATX 200W 変換効率 75% ニプロン PC12U-200P-X2SH
  • Intel D945GCLF2 Intel Atom 330 WESTERN DIGITAL WD1600BEKT Trancend TS256MLQ64V6U PC2-5300 ATX 200W 変換効率 75% ニプロン PC12U-200P-X2SH
  • 通常の用途 Web Ap
  • KVSに入っている
  • (10人前後)
  • U数を稼ぐため 熱源の隔離
  • U数を稼ぐため 熱源の隔離
  • 現在の平均は1台当たり0.52Aというところ。 1ラック33A / 4 / 16 ちなみにほぼ同構成での一般的な1Uサーバでの結果は、 アイドル時 0.8~0.9 A 最大負荷時 1.0~1.2 A
  • ほとんどアイドル時と負荷掛けた時で電力は変わらない
  • 正直めちゃくちゃ安いといわれると疑問だが Atom モデル 40,000 円前後 Core2Quad モデル 70,000 円前後
  • U数を稼ぐため 熱源の隔離
  • DB には使う勇気がないですw 適材適所 事前に初期不良の際にどうするかは業者さんにいっときましょう。
  • 導入時期でできるだけ合わせていく方向で考えている 今はCore2Quadだが、次期はH57チップセットのMini-ITXがでたら検証して切り替えていこうと思っています。
  • いけてる(ryがいなくても作れるのが理想かもしれない マジックテープとかもいいと思う ねじ止めをどれだけなくせるかだと思います。
  • ケーブリングとかも一苦労
  • ケーブリングとかも一苦労 独自サーバシリアル付番 スペック・サーバ種類と hostname がわかる 検索性の向上 Tagged-VLAN導入 ラック間移動がなくなる ラックが効率的に使用できる ただしバックボーンの NW は高速な必要がある
  • 現状はスケールできる部分にしか使っていないので保留 サーバに引っ掛ける部品を作ろうか検討中
  • 3度前後ではあるが改善
  • 捨てる所はばっさり捨てる方がいい。 だけど場所があった時の効果は絶大
  • 現在1Uサーバが入っている部分に徐々に入れていくという用途で使える
  • 設計はCAD(これはQCADですが)を使ってやっています
  • アメーバピグにおける自作サーバ運用

    1. 1. <ul><li>自作サーバ運用 </li></ul><ul><li>アメーバピグ編 </li></ul>株式会社サイバーエージェント 桑野 章弘
    2. 2. 自己紹介
    3. 3. 自己紹介 <ul><li>桑野 章弘 </li></ul><ul><li>株式会社サイバーエージェント </li></ul><ul><li>インフラエンジニア </li></ul><ul><ul><li>サーバインフラの設計・構築・運用など </li></ul></ul>
    4. 4. アジェンダ <ul><li>自作サーバの導入状況 </li></ul><ul><li>アメーバピグについて </li></ul><ul><li>サーバについて </li></ul><ul><li>メリット・デメリット </li></ul><ul><li>まとめ </li></ul>
    5. 5. 自作サーバの導入状況
    6. 6. の前に、、、導入の目的 <ul><li>コストダウン </li></ul><ul><li>DCの使用効率の向上(消費電力の削減、ラック集積度向上) </li></ul><ul><li>HW情報収集 </li></ul>
    7. 7. 自作サーバの用途 <ul><li>ストレージサーバ </li></ul><ul><ul><li>低コストで安定したストレージサーバ </li></ul></ul><ul><li>高密度サーバ </li></ul><ul><ul><li>スケールアウト前提のサーバ </li></ul></ul><ul><ul><li>AtomモデルとCore2Quadモデルを用途毎に使い分け </li></ul></ul>
    8. 8. 自作サーバの例[ストレージサーバ]
    9. 9. 自作サーバの例[ストレージサーバ]
    10. 10. 自作サーバの例[高密度サーバ]
    11. 11. 自作サーバの例[高密度サーバ]
    12. 12. 自作サーバ台数 <ul><li>200台前後 </li></ul><ul><ul><li>2009/11現在 </li></ul></ul><ul><ul><li>8割以上がアメーバピグで使用 </li></ul></ul><ul><li>->と、言うわけなので今回はアメーバピグでの使用状況についてしゃべります。 </li></ul>
    13. 13. アメーバピグについて
    14. 14. アメーバピグとは <ul><li>Amebaで提供しているアバターサービス </li></ul><ul><li>2009年2月 オープン </li></ul><ul><li>2009年11月現在 150万ユーザ </li></ul>
    15. 16. サーバについて
    16. 17. サーバについて <ul><li>サーバ仕様 </li></ul><ul><li>サーバスペック </li></ul>
    17. 18. サーバ仕様 <ul><li>M/BはMini-ITX </li></ul><ul><ul><li>縦置きするにはMicro-ATXでは厳しい </li></ul></ul>
    18. 19. サーバ仕様
    19. 20. サーバ仕様 <ul><li>サーバ筐体はM/Bを固定するアクリル板 </li></ul>
    20. 21. アクリル板
    21. 22. アクリル板
    22. 23. HDD <ul><li>2.5InchSATA * 2 </li></ul><ul><li>マウンタは 2.5InchHDD を 2 つマウントできるタイプ </li></ul>
    23. 24. HDD <ul><li>2.5InchSATA * 2 </li></ul><ul><li>マウンタは 2.5InchHDD を 2 つマウントできるタイプ </li></ul>
    24. 25. サーバ仕様 <ul><li>固定方法 </li></ul><ul><ul><li>ネジ止め </li></ul></ul>
    25. 26. サーバ仕様 <ul><li>固定方法 </li></ul><ul><ul><li>両面テープ </li></ul></ul>
    26. 27. サーバ仕様 <ul><li>ラッキング </li></ul><ul><ul><li>電源で安定を取って縦置き </li></ul></ul><ul><ul><li>簡易ブレード的な、、、 </li></ul></ul>
    27. 28. サーバ仕様 <ul><li>ラッキング </li></ul><ul><ul><li>16 台 1 組( 6U ) </li></ul></ul>サーバ 8 台を前後から縦置き 合計 16 台を 1 セット
    28. 29. サーバ仕様 <ul><li>ラッキング </li></ul><ul><ul><li>1 ラック最大 96 台( 16 台 * 5 セット)搭載可能 </li></ul></ul><ul><ul><li>もちろん消費電力の兼ね合いがあります </li></ul></ul>
    29. 30. サーバの使い分け <ul><li>2種類のサーバを用途毎に使い分け </li></ul><ul><ul><li>AtomはCPUは使わない用途 </li></ul></ul><ul><ul><li>Core2QuadはCPUも使う用途 </li></ul></ul>
    30. 31. サーバスペック <ul><li>Core2Quad モデル </li></ul>Intel Core2Quad Q8400S CPU 2.5Inch 160GB 7200rpm HDD * 1 台 HDD ATX 200W 変換効率 75% 電源 DDR2 667 2GB * 2 枚 Memory Dynatron T195 CPUFAN Intel DG41MJ M/B
    31. 32. サーバスペック <ul><li>Atom モデル </li></ul>2.5Inch 160GB 7200rpm HDD * 1 台 HDD ATX 200W 変換効率 75% 電源 DDR2 667 2GB * 1 枚 Memory Intel Atom 330 CPU Intel D945GCLF2 M/B
    32. 33. アメーバピグでの使い分け例 <ul><li>Core2Quadモデル </li></ul><ul><ul><li>Web、APサーバ等のロードバランサ等で負荷分散される用途 </li></ul></ul>
    33. 34. アメーバピグでの使い分け例 <ul><li>Atomモデル </li></ul><ul><ul><li>分散KVS </li></ul></ul>MySQL 分散 KeyValue ノード 自作サーバ マスタデータの入っている DB ベンダーサーバ 分散 KeyValue マスタ 定期的にデータを再分配する ベンダーサーバ MySQL MySQL
    34. 35. サーバ構築 <ul><li>サーバ構築は社員 </li></ul><ul><ul><li>1台の組み立てに20分前後 </li></ul></ul><ul><ul><li>100台の構築~インストール、サーバ設定まで7hour程度 </li></ul></ul><ul><ul><li>インストールはPXE+自作スクリプト </li></ul></ul>
    35. 36. 構築の様子
    36. 37. 構築の様子
    37. 38. メリット・デメリット
    38. 39. メリット <ul><li>直ぐに構成改善できる </li></ul><ul><li>電源容量がすくなくてすむ </li></ul><ul><li>コストパフォーマンス </li></ul>
    39. 40. メリット <ul><li>直ぐに構成改善できる </li></ul><ul><ul><li>一番最初のバージョンは電源ユニットを別出しにしていたが、取り回しが悪かったので変更。 </li></ul></ul>
    40. 41. 最初のバージョン
    41. 42. メリット <ul><li>消費電力がすくなくてすむ </li></ul><ul><ul><li>よっぽどの高負荷でない限りは一般的な1Uサーバの6割くらいの消費電源 </li></ul></ul>
    42. 43. メリット <ul><li>消費電力[Core2Quadモデル] </li></ul><ul><ul><li>アイドル時 0.4~0.5 A </li></ul></ul><ul><ul><li>最大負荷時 0.9~1.0 A </li></ul></ul>
    43. 44. メリット <ul><li>消費電力[Atomモデル] </li></ul><ul><ul><li>アイドル時 0.3~0.4 A </li></ul></ul><ul><ul><li>最大負荷時 0.4~0.5 A </li></ul></ul>
    44. 45. メリット <ul><li>コストパフォーマンス </li></ul><ul><ul><li>Atomサーバは安価 </li></ul></ul>
    45. 46. デメリット <ul><li>安定性 </li></ul><ul><li>機材の確保 </li></ul><ul><li>個人の力量が問われる </li></ul><ul><li>温度 </li></ul><ul><li>耐震 </li></ul>
    46. 47. デメリット <ul><li>安定性 </li></ul><ul><ul><li>言うほど悪くないよ </li></ul></ul><ul><ul><li>故障率は9ヶ月で4/200 </li></ul></ul><ul><ul><li>ただし、初期不良は結構あります </li></ul></ul>
    47. 48. デメリット <ul><li>機材の確保 </li></ul><ul><ul><li>常に同じ機材が入手できず無駄が出る </li></ul></ul><ul><ul><li>特にHDDとか、100台とかそろいづらいので代理店さん経由で購入 </li></ul></ul><ul><ul><li>在庫を持つ必要があるかもしれません </li></ul></ul>
    48. 49. デメリット <ul><li>個人の力量が問われる </li></ul><ul><ul><li>マニュアルは陳腐化する可能性が高い </li></ul></ul><ul><ul><li>作業工数削減(組み上げまで5~10分が理想と考えます) </li></ul></ul>
    49. 50. デメリット <ul><li>サーバの取り回し </li></ul><ul><ul><li>サーバのラック間移動をしたくない </li></ul></ul><ul><ul><li>用途から台数が多い </li></ul></ul>
    50. 51. デメリット <ul><li>サーバの取り回し </li></ul><ul><ul><li>独自サーバシリアル付番 </li></ul></ul><ul><ul><li>Tagged-VLAN導入 </li></ul></ul>
    51. 52. デメリット <ul><li>耐震 </li></ul><ul><ul><li>今後の課題 </li></ul></ul>
    52. 53. デメリット <ul><li>ラック内空調 </li></ul>サーバ背面から 排気されホットスポット 発生 サーバ前面 より吸気
    53. 54. デメリット <ul><li>ラック内空調改善 </li></ul>排気ユニットで ラック側面から排気 する サーバ前面 より吸気
    54. 55. ラック内空調ユニット
    55. 56. まとめ
    56. 57. まとめ <ul><li>考えないといけない事はたくさんある </li></ul><ul><li>ベンダーさんのサーバと比べちゃだめ、適材適所 </li></ul><ul><li>適所に合わせて作れる点が一番のメリット </li></ul><ul><li>全幅の信頼という訳にはいきませんw </li></ul>
    57. 58. 今後の構想 <ul><li>1U4Wayサーバ </li></ul><ul><ul><li>省スペースと高集積を両立 </li></ul></ul><ul><li>自作エンクロージャ </li></ul>
    58. 59. 1U4Wayサーバのイメージ
    59. 60. ご清聴ありがとうございました。

    ×