Tomohiro Kimura LINE / System Engineering Team LINEではオンプレミス環境にプライベートクラウドを構築しており、仮想マシンだけでなくベアメタルサーバも提供しています。プライベートクラウドユーザにベアメタルサーバを提供するときにプライベートクラウド側でサーバの電源コントロールをし、RAID/Networkの自動設定、OSインストールを実行します。ベアメタルサーバをコントロールする箇所においてはWebAPIを開発し、すべてWebAPIを通じてコントロールしています。また、OSインストーラについては当初はOSディストリビューションのインストーラを使用していましたが、利用中にいくつかの問題が発生したため、自社開発に切り替えました。 本発表ではどのようにベアメタルサーバをコントロールしているのか、OSインストーラの実装方法についてお話します。

1. INSIDE OF BAREMETAL SERVER
DEPLOYMENT ON PRIVATE
CLOUDTomohiro Kimura @ LINE CORPORATION

2. • 木村 智洋 / Tomohiro Kimura
• LINEのプロダクションサーバ管理
• サーバハードウェア選定
• OS管理
自己紹介

3. • 自作のインストーラ(OS)を開発・運用
• プライベートクラウドで Baremetal Serverを提供
• IPMI でサーバの電源/boot deviceのコントロール
アジェンダ

4. プライベートクラウド
Virtual Server
Baremetal Server

5. BAREMETAL環境
Server Server Server
pxeboot
server
IPMI
Gatewa
y
Service Network
IPMI Network
WebAPI
WebAPI

6. IPMI API
• 実装方法: ipmitool の Wrapper
• 機能: 電源OFF/ON・boot deviceの指定
• 思い通りに動かない BMC デバイス
• Power off にならない
• Pxeboot してこない

7. 思い通りに動かないBMC DEVICE
• 原因
• ipmi通信は UDP
• Return Code ≠ device操作の成功/失敗
• 対処方法
• Return code を当てにせず、ステータスを確認
• 何度かリトライ

8. OSインストーラ
• 社内開発のOSインストーラ
• RAID自動設定
• 失敗率低減(debugable)
• インストール時間短縮
• pxebootするだけで完了

9. インストールの流れ
• pxeboot Server の WebAPIを通じてホスト情報を登録
• IPMI で pxeboot
• OSインストール用initrd起動(独自実装)
• RAID自動設定
• パーティション自動設定
• OSイメージ展開(tar)

10. OSインストーラの自作方法
LINE SlideShare 検索

11. • 独自実装のインストーラ(OS)を開発・運用
• プライベートクラウドで Baremetal Serverを提供
• IPMI でサーバの電源/boot deviceのコントロール
まとめ

12. THANK YOU

13. THANK YOU