壮絶！さくらのレンタルサーバ構築・運用の舞台裏～The nightmare of onpremise～（第25回さくらの夕べ）

(C)Copyright 1996-2015 SAKURA Internet Inc.
壮絶！さくらのレンタルサーバ構築・運用の舞台裏
～The nightmare of on-premises～

• 中山幸治
• インターネットサービス事業部
• 主にレンサバの運用保守を担当
• 新卒でさくらに入社して今年で３年目
• 東京出身だが卒業間際に大阪に飛ばされ早2年
• 花粉症に悩まされながらなんとか安い物件をGet
• 今に至る
発表の前にお前誰だよ

お前誰だよ情報は
以上です
以上です

今日お話すること
何のはなしするの？

サーバの構築
について
それは…

サーバを構築すること
に伴う悲しみについて
具体的に言うと…

からの～
え、何それは…

再生の物語について
お話したいと思います
破壊と再生

• 業務でTerraform使ってウハウハしていた時代
• 突然の業務引継ぎ
• 物理サーバの構築担当へジョブチェンジ
• 悲しみのサーバ構築
• からの～
• 悲しみを乗り越えていくことに面白みが
あるのではという気付き
具体的には…

• 主にレンサバのデータベース（MySQL）の
構築作業に焦点を当ててお話します
• さくらではこんな風にサーバ作ってるのかと
興味を持って聞いていただけると幸いです
• 実はまだ構築担当になってから1ヶ月未満です
なので現時点での考え方です
来月には別のこと言ってるかもしれません
ご了承下さい
申し訳

Terraformで
ブイブイいわせて
いた時代
若かりし頃

• 社内でGitHub:Eを導入するメンバーに選ばれる
• AWS上にサーバを構築しようという話になる
• 主にCircle CI Enterpriseを使用するため
※ AWSで構築することを前提としている
• 別チームでTerraformを業務に使用していた
ということもありTerraformを採用
Terraformを使うことになる経緯

Terraform

• みんな大好きHashiCorpぷろだくつ
• インフラの状態をコードで管理
• インフラコードのバージョン管理
• Pull Requestベースのインフラ開発
• 分かりやすい構文で設定ファイルを書く
てらふぉーむ

分かりやすい構文
※ Terraformのサイトより引用

Pull Requestベースの開発

コマンド一発でインフラ完成
※ Terraformのサイトより引用

うはwww
物理サーバとか
いらねーはwwwwww
wwwwwwwwwwww
便利過ぎる…

あったんや…

＿人人人人人人人人人人＿
＞突然の業務引継ぎ＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y￣
からの～

レンサバ用データ
ベースサーバの
構築担当へ
もちろん物理サーバです

レンサバにおける
データベース構築
やっと本題

データベース

• コンパネからボタンをポチポチクリックする
だけですぐに使える
• MySQL
• バージョンは（4.0/5.1/5.5)
• phpmyadminも使える
• WordPressでデータベース使いたい時も
さっと作ってくれる
• 便利…ですよね？
レンサバデータベース

便利（確信）
便利

普段何気なく使ってい
ただいていると思いま
すがその影には汗と涙
の物語があります
汗と涙の物語

構築フロー
構築の流れ

• ラック確保
• 機材確保
• ラック工事
• ネットワーク設定
• サーバ構築
構築フロー

• ファシリティ部門にラック確保依頼を出す
• データベース残数を調査してサーバが不足する
ことが無いようにする必要がある
• 現在のところ1日約100データベース消費される
• 1セグメント約3ヶ月もつ
• 適したラックを選定する必要がある
• 現在のサーバは1Uサーバなのでコールド/ホット
にする必要がある(空調に区別がある場合)
ラック確保

ラックの利用状況の例
1Uサーバは前面から冷た
い風を取り込み(コールド
アイル)、背面から温まっ
た風を排出する(ホットア
イル)

• 物流を担当している部署へ確保依頼出す
• 不足していれば発注も行う
• 現在の構成では1ラックにつき
• サーバ x 12 SSD/HDD x 30 メモリ x 158
WAN/LANスイッチ x 2
ラック確保 -> 機材確保

• ラックが使用できる状態にする作業
• データセンターチームに依頼を出す
• ゴミ掃除
• マウントレール取り付け
• 電源タップ取り付け
• などなど
機材確保 -> ラック工事

こんな感じでデータセンター
チームの方々に作って
もらいます
ラック図

• WAN/LAN用スイッチの設定
• ネットワーク担当部署に依頼
• WAN側スイッチはエッジルータに接続
• LAN側スイッチはIPMI接続に使用するために使う
• 使用可能なIPの割り出しなどもお願いする
• 割り出された範囲からIP選んでDNS登録
ラック工事 -> ネットワーク設定

•
ネットワーク構成
※ 現状の構成と
※ 若干異なります

• データセンターチームにPXEブートしてもらう
• その後パッケージスクリプトの適用
• 構築後の動作検証
• 監視の設定
• Terraformのようにコマンド一発で完了
とはいかない
• 改善の余地がある
ネットワーク設定 -> サーバ構築

• クラウドに比べるとどうしても
期間/人数/工数が長くなる
• 1セグメント完了するまでおおよそ30日/10人
• 手順書ベースの作業(サーバ内オペレーション)
• しかも手順書が更新されてない…
• 作業者の力量に依存してしまっている
物理サーバ構築の辛み

それでも困難な状況
を打開することに
面白さがあるのでは
ないでしょうか？
再生の話

（震え声）
本音

• 複数台のサーバを初期構築したいけど1台1台
作っていたのでは時間かかるしミスも起きる
• tmuxのsynchronized-panesを利用する
• paneを共有して別サーバに同じコマンドを
同時に実行できる機能
• 十数台ぐらいならこれでも何とかなる
暫定対策

synchornized-panes

とは言え根本解決
にはならない…
この悲しみを解決
できるようにしたい！
KONPON

インフラの
コード化
再生への道1

• インフラの状態をコードとして記述する
• Gitで何時/誰が/何を変更したのか管理
• Pull Requestベースのインフラ開発
• サーバ内オペレーションの低減/属人性の排除
• 構成管理ツールの導入
別件で利用しているのでAnsibleが有力
再生への道1

• インフラをコード化したからには検証/テストも
同時にコード化(serverspec/infratasterなど)
• ついでに監視登録も(Zabbix API)
再生への道1

こんな感じで出来たらうれしい
設定投入＆テスト実行
両方共OKだったら監視登録
※ 本当はPXEブート時にAnsible
※ キックしてくれるとうれしい

手順書の整備
再生への道2

• とはいえ手動でオペレーションする所は必ずある
• 現状と合っていない手順をアップデート
• 手順書自体もバージョン管理したい
• こちらもPull Requestベースの文書管理
再生への道2

構成の変更
再生への道3

• 必要なのかよく分からないけど今までやってた
から続けているものをバッサリ変えたい
• RRDtool使っている所あるけどZabbixにグラフ
情報を集約できるのでは
• phpmyadminサーバの構成を変更
稼動系/待機系へ作ったサーバ二重登録している
クラスタ構成に変更して無駄＆SPOF排除
• などなど他にもいっぱい
再生への道3
いっぱいありまぁす！

• 物理サーバの構築にはいろいろと辛みがある
• Terraformのようにコマンド一発で
完了とはいかない
• でも改善していくことに楽しさがある
辛いけど楽しい！
まとめ

辛みはいっぱいある
けど毎日悩みながら
楽しく仕事してます！
本音です！

最後に…
言わせて下さい

さくらでは物理サーバとクラウド
両環境の良さを知りつつ
より物理サーバの良い所を引き
出せるエンジニアを募集中です
一緒に悲しみを乗り越えましょう!
求人情報です

ご静聴ありがとう
ございました
終わり

壮絶！さくらのレンタルサーバ構築・運用の舞台裏～The nightmare of onpremise～（第25回さくらの夕べ）

More Related Content

What's hot

Similar to 壮絶！さくらのレンタルサーバ構築・運用の舞台裏～The nightmare of onpremise～（第25回さくらの夕べ）

More from さくらインターネット株式会社

壮絶！さくらのレンタルサーバ構築・運用の舞台裏～The nightmare of onpremise～（第25回さくらの夕べ）