2015/11/25 NTTG内報告会でのNTTレゾナント発表資料です．

1. OpenStack Summit Tokyo に参加してみた
NTTレゾナント
ビジネスプラットフォーム事業部サービス基盤部門
通山 和裕

2. 自己紹介
通山和裕
2010年～2014年6月
NTTコミュニケーションズ OCNフレッツ系NW開発
2014年7月～ (現職)
NTTレゾナント 全社共通基盤の設計・構築・運用
弊社のOpenStack環境について発表しました
Oct 27 • 11:15am - 11:55am @Main Conference
OpenStack at NTT Resonant:
Lessons Learned in Web Infrastructure

3. Summitにて
3
NTTレゾナント
西山取締役
Keynote

4. Summitにて
4
http://blogs.itmedia.co.jp/business20/2015/10/ntt_openstack_superuser_award.html

5. Summitにて
5
見切れた
西山取締役
橋本担当課長
SIC市川さん
Superuser Award Youtube公式動画

6. 1. NTTレゾナントのOpenStack
• プライベートクラウドとして利用
– 社内のサービス開発者に仮想サーバを提供
• 2014年10月～ 商用利用開始
– 80以上のサービスを収容
– 月間1億ページビュー以上
– ハイパーバイザ 約400台
• Cell × 2
– 物理CPUコア 4,800
– 収容仮想サーバ 1,800以上
用途・スケール
6
Launch

7. Dashboard
1. NTTレゾナントのOpenStack
利用コンポーネント (Icehouse Release)
7
Horizon
Neutron
Nova
Glance
Cinder
Swift
Keystone
Network
Hypervisor
Image
Block Storage
Object Storage
Identity
Virtual Router and LAN
Virtual Load Balancer
Virtual server
VM Template
Image snapshot
Virtual volume
RESTful file store
Replication
弊社利用コンポーネント
VM VM VM
APP
OS
APP
OS
APP
OS
designed by Freepik
Trove
Heat Orchestration
Database
services
Ceilometer Telemetry
L3以上はNW機器にお任せ
VM/HVのNW制御のみ
Cinder無し
Ephemeral Diskのみ

8. • ディストリビューション
– RDO (Icehouse) & CentOS 6
• OpenStackの構築自動化
– Puppet
•RDOに同梱されたPuppet manifestを流用・カスタマイズ
– PXE boot & kickstart [New!]
•コンピュートノード構築は 40台/日 程度の実績あり
• 監視・運用
– Zabbixで監視
– Redmineで障害管理
– 24時間体制のオペレーションセンタ（アウトソーシング）
8
1. NTTレゾナントのOpenStack
デプロイと運用

9. 9
Node Type OpenStack
Components
RabbitMQ (MQ) and
MariaDB (Database)
HAProxy (LB)
and Pacemaker
(HA cluster)
Top cell
Controller
Nova, Glance,
Keystone, Neutron,
Horizon
RabbitMQ
Mirrored queue
Nova, Keystone, Neutron,
Horizon,
DB, MQ
Child cell
Controller
Nova RabbitMQ
Mirrored queue
MQ
Database N/A MariaDB
Galera Cluster
N/A
Swift Proxy Swift, Glance N/A Swift, Glance
Swift Storage Swift N/A N/A
Compute Nova, Neutron N/A N/A
ノード種別とHA設計
1. NTTレゾナントのOpenStack

10. 2. Summitに参加した所感
発表内容の抜粋と反応
10
• 設計系：レゾナントのOpenStack実装
– 各コンポーネントの冗長化方法を一覧で公表 (前述)
– スマホで写真を撮る人が大量発生
• 運用系：ログ大杉問題
• めっちゃ頷いて同意している複数名 Opsっぽい
• Devらしき方々、苦笑い
• docomoさんの発表でもログの話題が
• 将来計画：LBaaSに取り組みたい話
– 現在、某LBアプライアンスを利用中
– メーカが公開しているLBaaSプラグインを使うつもり
– 発表後、ベンダ(販社)から「協力したい」とメールが来た
いろいろと話した中から抜粋します

11. 2. Summitに参加した所感
Summit参加のふりかえり
11
• ○Summitを通じてOpenStack開発の空気を知れる
– Design Summit ＝ 方針決定の現場
– OpsとしてDevを把握する必要性
– Webや書籍では得られない”体感”
• ○自分たちのOpenStackのレベルがつかめる
– まだまだやるべきことがあるな、と再認識する
– 類似事例・仲間の発見
• △発表・聴講であっぷあっぷ
– Summit中に個別MTG・ビジネス相談ができるのがたぶん理想
• △もっとDesign Summitも見た方がよかった？
– 何が盛り上がってるのか？ 優勢な案は何か？
– Conferenceは動画がアップロードされるし…
AM11:52 売り切れ
×ステーキランチの枯渇が早すぎる

12. VMVM
2. Summitに参加した所感
• VMのサイジングをやり直す必要性
– 稼働開始時：旧DCのVMスペックをほぼそのままOpenStackのフレーバに適用
• 旧DCからOpenStack環境へのスムーズな移転を最優先
• ディスクの割当過多 ⇒ 割当ディスクが枯渇（平均利用率 20%程度）
• CPU、メモリがもったいない…
• 既存VMから割当ディスクを返してもらう施策を発動
– 割当ディスクを縮小したフレーバを新たに用意
– 既存1800VM+を縮小後のフレーバに移行したい
– but OpenStackの機能で割当ディスクサイズの縮小はできない …ので
12
弊社の施策 - 現在進行形
rsync
ディスク縮小後VM既存VM
変態的？
同名・同IPアドレス
HV
qcow2 qcow2
guestmount guestmount
HV

13. 2. Summitに参加した所感
13
PaypalもrsyncでVMの移行を実施していた
( 'A`)人('A` )ﾅｶｰﾏ
https://goo.gl/Vnj6YI
PayPal's Cloud Journey From Folsom to Kilo -- What We Learned in the Upgrade
CERNがCell v1を工夫して使っている話も共感(top cellとchild cellの不整合云々)
Unveiling CERN Cloud Architecture https://goo.gl/Vnj6YI

14. 14
参加してよかった！
これからもよろしくお願いいたします