livedoorを支えるインフラ

           株式会社ライブドア
           株式会社ライブドア
             片野 
             片野 秀人



   Copyright(C) 2008, l...
自己紹介


■ 片野秀人 (Katano Hideto)
■ 株式会社ライブドア
  開発部システム管理グループ
■ 主な担当
   livedoor各サービスのサーバ選定とか、トラフィック
   対策とか、インフラ全般をあれこれと。

■ ...
アジェンダ

・livedoorの運用体制
    →自社データセンタがあると良いよね


・サーバ調達
    →より安く、より早くサーバを投入するために


・仮想サーバ/自作サーバ
    →どんな感じで使ってるの?おいしいの?


・ま...
-運用体制-



 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   3
運用体制

ネットワーク事業部                            データセンタの運営
  ・ネットワークエンジニア                         ・ネットワーク構築
   ・オペレータ           ...
運用体制

ネットワーク事業部
  ・ネットワークエンジニア
                                          障害発生
   ・オペレータ                                ※対応...
自社データセンタの良さ



・なんとなく復旧してくれる
  (オペレータが優秀!)

  →apache再起動、サーバ再起動、
    ログ削除、レプリケーション復旧、etc..




        Copyright(C) 2010, ...
自社データセンタの良さ



・融通が利く
  →手順書がなくても、口頭でお願い
    すれば対応してくれることも多い




       Copyright(C) 2010, livedoor Co., Ltd. All rights r...
自社データセンタの良さ


だけど・・・

あまり無理を言うと

    怒られます。
            注意しましょう。

         Copyright(C) 2010, livedoor Co., Ltd. All right...
livedoorを支えるサーバ


・約2,700台のサーバが稼働中
 (IBM/TOSHIBA/SUNがメイン)

・毎月のセットアップ数は20~50台

・古いサーバを順次リプレース中

・最近はCentOSでセットアップ。
 (古いのはF...
-サーバ調達-



 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   10
サーバ調達って?

      急激なアクセス増加
                      ↓

      サーバ発注
ここ⇒                   ↓

      セットアップ
                  ↓
 ...
重視するポイント




      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   12
重視するポイント




    ・安い
    ・早い
    ・うまい
      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   13
安くするために



・エントリークラスの
  サーバを並べて使う。


・同じサーバを大量に買う。


      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   14
安くするために




つまり・・・




      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   15
安くするために




元々安いサーバを

さらに安く買い叩く


      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   16
投入を
 投入を早くするために


・まとめ買いして在庫しておく

・事前にOSはインストールしておく

・仮想サーバでセットアップを
 高速化 (後述)
       Copyright(C) 2010, livedoor Co., Ltd....
どれぐらい早 投入できるの?
どれぐらい早く投入できるの?
         できるの



(条件次第では)
数時間でサービス投入可能。

1~2時間でサービス投入した
こともあります。

      Copyright(C) 2010, l...
どれぐらい早 投入できるの?
どれぐらい早く投入できるの?
         できるの




でも急に言われると・・・




      Copyright(C) 2010, livedoor Co., Ltd. All rights re...
どれぐらい早 投入できるの?
どれぐらい早く投入できるの?
         できるの




 色々大変です。

      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved....
というわけで・・・




 サーバのご利用は
    計画的に。

        Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   21
-仮想サーバ-



 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   22
どんな感じで使ってるの?
どんな感じで使ってるの?



・Xenを採用(2009年1月~)


・主にフロントエンドで利用


・約250台を仮想化して運用中

      Copyright(C) 2010, livedoor Co., L...
メリットは?
メリットは?



・セットアップが早い
  →標準的なRPMやセットアップをした初期
   イメージファイルを準備。IPやホスト名を
   変更すれば、基本的な用途ならすぐ使 
 
   える。


         Copyr...
メリットは?



・リソースを効率良く使い
 切れる
  →複数の小規模なサービスでサーバを
    共用する、など




         Copyright(C) 2010, livedoor Co., Ltd. All rights ...
メリットは?



・ハードウェアが変わっても
 そのまま動く
  →イメージファイルをコピーするだけで
   ハードウェアのリプレースが完了できる。




         Copyright(C) 2010, livedoor Co., ...
デメリットは?



・運用や管理が煩雑になる
  →物理的な位置が分かりにくくなる
  →IPアドレスの管理が煩雑になる




          Copyright(C) 2010, livedoor Co., Ltd. All righ...
デメリットは?



・運用や管理が煩雑になる
  →物理的な位置が分かりにくくなる
  →IPアドレスの管理が煩雑になる


   ⇒工夫すれば何とかなる。
   割と慣れるので大丈夫。
          Copyright(C) 2010...
デメリットは?


・物理利用と比べて性能が
 下がる
  →特にディスクI/Oの性能劣化は顕著




          Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. ...
デメリットは?


・物理利用と比べて性能が
 下がる
  →特にディスクI/Oの性能劣化は顕著
⇒ディスクI/0が発生するような用途
では物理で使う。ディスクアクセスし
たら負け。
          Copyright(C) 2010, l...
デメリットは?


・ハードウェア障害の影響範囲
 が大きくなる
   →サーバ1台の障害が複数サービスに
     影響を及ぼす可能性も。




          Copyright(C) 2010, livedoor Co., Ltd....
デメリットは?
デメリットは?


・ハードウェア障害の影響範囲
 が大きくなる
   →サーバ1台の障害が複数サービスに
     影響を及ぼす可能性も。
⇒冗長化して、1台落ちてもサービ
スに影響が出ない構成にしておく。
また、RAID1に...
結論




     Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   33
結論




     適材適所
     で使いましょう。




        Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   34
結論



・小規模サービスには利用価値が
高い
・サーバ追加が頻繁にあるサービス
は仮想化しておくと楽

・逆にフル稼働でサーバを使うなら
物理の方が良い
     Copyright(C) 2010, livedoor Co., Ltd. ...
-自作サーバ-



 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   36
作った経緯



・最近のサーバは消費電力が高い。
 ラックにあまり詰め込めない

・ストレージも台数増えてきたし、
 ラックに一杯入るサーバが欲しい

・世間的にも流行ってるよね

        Copyright(C) 2010, liv...
作った経緯




・「うちも作りました」って


        言いたい

        Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   38
どんなサーバなの?


・省電力でそれなりに速いサーバ
   →フロントエンド用
   (Athlon II X4 605e 、mem16GB)
                       mem16GB

・超省電力で低速なサーバ
   →...
どんなサーバなの?


・筐体は2Uハーフ
 (1ラックに36台入る)




      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   40
どんなサーバなの?


・電力的に40台以上は厳しいの
で、2Uハーフでも十分。
  →2Uハーフだと、汎用性が高い
    (1Uハーフは制限がきつい)
      ・PCIが使える
      ・3.5HDDが使える
      ・電源やフ...
メリットは?


 ・消費電力に対しての性能比が優秀
 なCPUを選べる
        サーバ                 処理リクエスト数                      負荷時                  処理リクエス...
デメリットは?
デメリットは?


・少ロット数での外注なので、割高&
納期が遅い

・ベンダ製より安っぽいので若干壊れ
やすいかも

・パーツ違いの在庫が増えて管理が
煩雑になる

          Copyright(C) 2010, l...
結論



色々問題はありますが・・・




     Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   44
結論


テックブログで

一杯釣れた                      から作って良かった




      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   ...
結論



まあ、外注なので

自作してないんですけどね。



     Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   46
結論


その他にも・・・


・サーバ用途ではないパーツが使える

・パーツ交換でスケールアップできる


          というメリットがあります。
            (こっちが本来のメリット)
           Copyri...
結論


・Athlon/Phenomは電力的に
かなり優秀。(TDP45W~95W)
  →2.8GHz/6Core/95W版も出た
  →Xeon L3426も良いですね。
   (TDP45W)
   ⇒パーツを変更しつつ、
     今...
-まとめ-




Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   49
まとめ


より良い運用体制を作るために・・・

データセンタ側との
         連携が大事


   →安眠確保!

        Copyright(C) 2010, livedoor Co., Ltd. All rights re...
まとめ



サーバのご利用は計画的に。

  →計画的に買えば安くなるし、
   投入も早くなる




      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   51
まとめ



仮想サーバの利用は適材適所
で。

  →うまく使えば便利。無闇に
  仮想化してもメリットなし


      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved....
まとめ



自作サーバはまだ釣れる

  →話題になることで、エンジニア
   の応募も増えた・・・かも。



      Copyright(C) 2010, livedoor Co., Ltd. All rights reserved....
ご静聴ありがとうございました




    Copyright(C) 2010, livedoor Co., Ltd. All rights reserved.   54
Upcoming SlideShare
Loading in …5
×

NHNグループ合同勉強会 ライブドア片野

3,062 views

Published on

livedoorを支えるインフラ

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,062
On SlideShare
0
From Embeds
0
Number of Embeds
327
Actions
Shares
0
Downloads
0
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

NHNグループ合同勉強会 ライブドア片野

  1. 1. livedoorを支えるインフラ 株式会社ライブドア 株式会社ライブドア 片野  片野 秀人 Copyright(C) 2008, livedoor Co., Ltd. All rights reserved.
  2. 2. 自己紹介 ■ 片野秀人 (Katano Hideto) ■ 株式会社ライブドア   開発部システム管理グループ ■ 主な担当    livedoor各サービスのサーバ選定とか、トラフィック    対策とか、インフラ全般をあれこれと。 ■ Twitter: @kmt_web Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 1
  3. 3. アジェンダ ・livedoorの運用体制     →自社データセンタがあると良いよね ・サーバ調達   →より安く、より早くサーバを投入するために ・仮想サーバ/自作サーバ     →どんな感じで使ってるの?おいしいの? ・まとめ Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 2
  4. 4. -運用体制- Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 3
  5. 5. 運用体制 ネットワーク事業部 データセンタの運営   ・ネットワークエンジニア   ・ネットワーク構築    ・オペレータ   ・一次障害対応      開発部  ・プログラマ   ・デザイナ/マークアップ サービス企画開発   ・サーバエンジニア   ・企画/ユーザサポート   ・二次障害対応 メディア事業部 ネットサービス事業部 ・ディレクタ Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 4
  6. 6. 運用体制 ネットワーク事業部   ・ネットワークエンジニア  障害発生    ・オペレータ ※対応できる場合は オペレータ側で対応      開発部 ディレクタ、プログラマ  ・プログラマ へ連絡   ・デザイナ/マークアップ   ・サーバエンジニア メディア事業部 ユーザ告知や障害復旧 ネットサービス事業部 を行なう ・ディレクタ Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 5
  7. 7. 自社データセンタの良さ ・なんとなく復旧してくれる   (オペレータが優秀!)   →apache再起動、サーバ再起動、     ログ削除、レプリケーション復旧、etc.. Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 6
  8. 8. 自社データセンタの良さ ・融通が利く   →手順書がなくても、口頭でお願い     すれば対応してくれることも多い Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 7
  9. 9. 自社データセンタの良さ だけど・・・ あまり無理を言うと     怒られます。             注意しましょう。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 8
  10. 10. livedoorを支えるサーバ ・約2,700台のサーバが稼働中  (IBM/TOSHIBA/SUNがメイン) ・毎月のセットアップ数は20~50台 ・古いサーバを順次リプレース中 ・最近はCentOSでセットアップ。  (古いのはFreeBSDとか、TurboLinuxとか) Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 9
  11. 11. -サーバ調達- Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 10
  12. 12. サーバ調達って? 急激なアクセス増加 ↓ サーバ発注 ここ⇒ ↓ セットアップ ↓ テスト ↓ サービスへ投入 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 11
  13. 13. 重視するポイント Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 12
  14. 14. 重視するポイント ・安い ・早い ・うまい Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 13
  15. 15. 安くするために ・エントリークラスの   サーバを並べて使う。 ・同じサーバを大量に買う。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 14
  16. 16. 安くするために つまり・・・ Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 15
  17. 17. 安くするために 元々安いサーバを さらに安く買い叩く Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 16
  18. 18. 投入を 投入を早くするために ・まとめ買いして在庫しておく ・事前にOSはインストールしておく ・仮想サーバでセットアップを 高速化 (後述) Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 17
  19. 19. どれぐらい早 投入できるの? どれぐらい早く投入できるの? できるの (条件次第では) 数時間でサービス投入可能。 1~2時間でサービス投入した こともあります。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 18
  20. 20. どれぐらい早 投入できるの? どれぐらい早く投入できるの? できるの でも急に言われると・・・ Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 19
  21. 21. どれぐらい早 投入できるの? どれぐらい早く投入できるの? できるの 色々大変です。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 20
  22. 22. というわけで・・・ サーバのご利用は    計画的に。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 21
  23. 23. -仮想サーバ- Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 22
  24. 24. どんな感じで使ってるの? どんな感じで使ってるの? ・Xenを採用(2009年1月~) ・主にフロントエンドで利用 ・約250台を仮想化して運用中 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 23
  25. 25. メリットは? メリットは? ・セットアップが早い   →標準的なRPMやセットアップをした初期    イメージファイルを準備。IPやホスト名を    変更すれば、基本的な用途ならすぐ使       える。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 24
  26. 26. メリットは? ・リソースを効率良く使い  切れる   →複数の小規模なサービスでサーバを     共用する、など Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 25
  27. 27. メリットは? ・ハードウェアが変わっても  そのまま動く   →イメージファイルをコピーするだけで    ハードウェアのリプレースが完了できる。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 26
  28. 28. デメリットは? ・運用や管理が煩雑になる →物理的な位置が分かりにくくなる →IPアドレスの管理が煩雑になる Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 27
  29. 29. デメリットは? ・運用や管理が煩雑になる →物理的な位置が分かりにくくなる →IPアドレスの管理が煩雑になる    ⇒工夫すれば何とかなる。 割と慣れるので大丈夫。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 28
  30. 30. デメリットは? ・物理利用と比べて性能が  下がる →特にディスクI/Oの性能劣化は顕著 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 29
  31. 31. デメリットは? ・物理利用と比べて性能が  下がる →特にディスクI/Oの性能劣化は顕著 ⇒ディスクI/0が発生するような用途 では物理で使う。ディスクアクセスし たら負け。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 30
  32. 32. デメリットは? ・ハードウェア障害の影響範囲  が大きくなる →サーバ1台の障害が複数サービスに      影響を及ぼす可能性も。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 31
  33. 33. デメリットは? デメリットは? ・ハードウェア障害の影響範囲  が大きくなる →サーバ1台の障害が複数サービスに      影響を及ぼす可能性も。 ⇒冗長化して、1台落ちてもサービ スに影響が出ない構成にしておく。 また、RAID1にしておくと安心 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 32
  34. 34. 結論 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 33
  35. 35. 結論 適材適所 で使いましょう。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 34
  36. 36. 結論 ・小規模サービスには利用価値が 高い ・サーバ追加が頻繁にあるサービス は仮想化しておくと楽 ・逆にフル稼働でサーバを使うなら 物理の方が良い Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 35
  37. 37. -自作サーバ- Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 36
  38. 38. 作った経緯 ・最近のサーバは消費電力が高い。  ラックにあまり詰め込めない ・ストレージも台数増えてきたし、  ラックに一杯入るサーバが欲しい ・世間的にも流行ってるよね Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 37
  39. 39. 作った経緯 ・「うちも作りました」って       言いたい Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 38
  40. 40. どんなサーバなの? ・省電力でそれなりに速いサーバ    →フロントエンド用    (Athlon II X4 605e 、mem16GB) mem16GB ・超省電力で低速なサーバ    →ストレージ用      (Atom D410 、mem4GB) mem4GB         の2パターン構成 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 39
  41. 41. どんなサーバなの? ・筐体は2Uハーフ  (1ラックに36台入る) Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 40
  42. 42. どんなサーバなの? ・電力的に40台以上は厳しいの で、2Uハーフでも十分。   →2Uハーフだと、汎用性が高い     (1Uハーフは制限がきつい)       ・PCIが使える       ・3.5HDDが使える       ・電源やファンも制約が緩い Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 41
  43. 43. メリットは? ・消費電力に対しての性能比が優秀 なCPUを選べる サーバ 処理リクエスト数 負荷時 処理リクエスト数 消費電力 /Watt IBM X3250 355 req/s 110 W 3.23 req/W   (Core2Duo x1) SUN X4150 962 req/s 230 W 4.18 req/W   (Core2Quad x2) 自作サーバ 495 req/s 91 W 5.44 req/W   (AthlonII 605e x1) Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 42
  44. 44. デメリットは? デメリットは? ・少ロット数での外注なので、割高& 納期が遅い ・ベンダ製より安っぽいので若干壊れ やすいかも ・パーツ違いの在庫が増えて管理が 煩雑になる Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 43
  45. 45. 結論 色々問題はありますが・・・ Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 44
  46. 46. 結論 テックブログで 一杯釣れた から作って良かった Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 45
  47. 47. 結論 まあ、外注なので 自作してないんですけどね。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 46
  48. 48. 結論 その他にも・・・ ・サーバ用途ではないパーツが使える ・パーツ交換でスケールアップできる           というメリットがあります。             (こっちが本来のメリット) Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 47
  49. 49. 結論 ・Athlon/Phenomは電力的に かなり優秀。(TDP45W~95W)   →2.8GHz/6Core/95W版も出た   →Xeon L3426も良いですね。    (TDP45W)    ⇒パーツを変更しつつ、      今後も使う予定。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 48
  50. 50. -まとめ- Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 49
  51. 51. まとめ より良い運用体制を作るために・・・ データセンタ側との          連携が大事    →安眠確保! Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 50
  52. 52. まとめ サーバのご利用は計画的に。   →計画的に買えば安くなるし、    投入も早くなる Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 51
  53. 53. まとめ 仮想サーバの利用は適材適所 で。   →うまく使えば便利。無闇に 仮想化してもメリットなし Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 52
  54. 54. まとめ 自作サーバはまだ釣れる   →話題になることで、エンジニア    の応募も増えた・・・かも。 Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 53
  55. 55. ご静聴ありがとうございました Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 54

×