クラウド型データセンタにおけるSDNの適用事例

クラウド型データセンタにおける
SDNの適応事例
ＮＥＣビッグローブ株式会社
土屋太二
©2013 NEC BIGLOBE, Ltd. 1
2013年3月21日

自己紹介
• 土屋太二（つちやたいじ）
– 2011年日本電気株式会社入社
– 同年、ＮＥＣビッグローブ株式会社に出向
• 自社データセンタのネットワーク設計・構築
• SDN関連技術の調査・開発・検証

BIGLOBEの事業内容
• ISP事業
• コンテンツメディア事業
• データセンタ事業
ＮＥＣビッグローブ株式会社
設立：2006年 7月
従業員：約600名
ブロードバンド接続ユーザ：295万人
(2012年12月末時点)

BIGLOBE データセンタ事業
• 法人企業向けに、サーバ / ネットワークなど
のインフラ環境を提供
ネットワーク
OS
ハードウェア（サーバ）
ミドルウェア
アプリケーション
コンテンツ
ユーザ
BIGLOBE
IaaS
( Infrastructure as a Service )
PaaS
( Platform as a Service )
SaaS
( Software as a Service )

データセンタへの要求
• ユーザからの要求（例）
– サービスを早くリリースしたい
– 安全性を確保したい
– 安く作りたい
– インフラ運用はノータッチにしたい
– 自社インフラネットワークと繋ぎたい
これら要求に対して的確に応えることが
データセンタに求められる

要求1 構築スピードの向上(1/2)
• サービスの開発サイクルの短縮化
⇒スピード感のあるインフラ提供が求められる
インフラを5分で提供できる
パブリッククラウド型IaaSサービスを提供中
( BIGLOBEクラウドホスティング )
WEBサーバ
WEBサーバ
DBサーバ
DBサーバ
LB
• WEB、DBサーバは作り置き
• ルータ、LBは共用
インターネット
ルータ

要求1 構築スピードの向上(2/2)
• パブリッククラウドでは
シンプルなネットワーク構成が前提
• SI案件（個別作業が必要な案件）には適用できず、
手動の設計・構築作業が必要となり
3週間のリードタイムを要する
課題1
SI案件に対しても、スピーディかつ柔軟に
構築できる仕組みが必要

要求2 セキュアなインフラの提供(1/2)
• ユーザに安心・安全なインフラを提供
– マルチテナント環境でユーザ同士を疎通させない
ように、VLANとACLによってネットワークを分離
BIGLOBE データセンタ
企業A
企業B
企業C
企業A
企業B 企業C

• VLANの「仕様上」4094個のIDの制限
⇒1サービスあたり複数VLAN利用することを
考慮すると、実質1000サービス程度が限界
• 1000サービス以上を収容する場合には、
VLAN IDの制限を解決しなければならない
課題2
VLANの制限に依存しない
ネットワーク分離の仕組みが必要
要求2 セキュアなインフラの提供(2/2)

課題解決の方針
課題1
SI案件に対しても、
スピーディかつ柔軟に
構築できる仕組みが必要
課題2
VLANの制限に依存
しないネットワーク分離の
仕組みが必要
解決策1
一連のインフラ構築を
自動化する
自動構築システムの導入
解決策2
物理NWに依存しない
オーバーレイネットワーク
の導入

解決策1 自動構築システムの導入
サービスユーザが自由に
リソースを選択できる
• 各コンポーネントのリソースを自動で管理/
制御することでオンデマンドにインフラ提供
– SDNを利用することで、ネットワークリソースの
管理・制御が容易になった
ロードバランサリソースネットワークリソースサーバリソース

解決策1 自動構築システム概要
GUI
クラウドコントローラ
仮想NW
コントローラ
ロードバランサ
コントローラ
仮想サーバ
コントローラ
物理NW
コントローラ
KVM
VMware
ルータロードバランサ
OpenvSwitch
OpenFlow
VXLAN
構成管理
DB
設定管理
DB
設定管理
DB
設定管理
DB
設定管理
DB
スイッチ
• 各装置を包括的に管理・制御することで、
インフラ構築の一連作業を自動化
• 各装置のインタフェース差異を吸収
• 全リソース情報をDBで一元管理して
矛盾なく設定

解決策2
オーバーレイネットワークの導入
• 装置や物理構成の制約にとらわれない
柔軟なオーバーレイネットワークを実現
– 特別な機能やリプレイスなしで、既存NW装置を流用可能
– トンネル終端装置を一般的なサーバで実現可能
ＶＬＡＮ
OpenFlow
VXLAN
Open vSwitch
VXLAN:
L2パケットをIPでカプセル化し、
オーバーレイネットワークを構築
OpenFlow:
仮想NWと物理NWの
転送ルールを制御
Open vSwitch:
転送ルールに従ってVLAN-
VXLAN間通信を処理

解決策2
オーバーレイネットワークコンポーネント
• VXLAN:
– IPパケットをカプセル化するプロトコル
– トンネル終端ポイントでMACアドレスを学習
– IDとしてVNI( VXLAN Network Identifier )を約1677万個持つ
• OpenFlow:
– ネットワーク通信を「制御」と「転送」に
分離可能なNW仮想化プロトコル
– 柔軟なフローテーブルの書き換えが可能
• Open vSwtich:
– 一般的なサーバで実現可能な仮想スイッチ
– オープンソースで唯一OpenFlowプロトコルを実装

VM VM VM VM ルータロードバランサ
VNI 3
VNI 2
VNI 1
VLAN 10
VM
仮想スイッチ
( Open vSwtitch )
仮想スイッチ
( Open vSwtitch )
VXLAN
VLAN
VLANVLAN 30
Openflowコントローラ
（Trema）
データ
データ
データ
OpenFlow で
変換を行う
VXLAN VLAN
※VNI・・・VXLAN Network Identifier
VLANネットワーク
解決策2
オーバーレイネットワーク概要
VXLANネットワーク

結果
• 構築スピードについて
– 3週間 ⇒ 5日
• 今後は1日以内の構築を実現予定
– 作業工数の削減
• セキュリティについて
– VLANなどの物理装置に起因する
制限の緩和を実現
・ 4094 ⇒ 約1677万

考察 - 自社開発 - (1/2)
• 利点
– ベンダロックインからの解放
• 必要な機能を必要なタイミングで導入が可能に
ｰ低コストでシステム導入
• オーバーレイ方式により、既存設備を最大活用
• オープンソースの活用
• VLAN数の制限緩和により、低価格機器の利用が可能

考察 - 自社開発 - (2/2)
• 課題
– 開発途上のプロトコルを採用するリスク
• 仕様変更を想定した開発が必要
– オーバーレイネットワークの運用監視の難しさ
• 物理装置の故障箇所や影響範囲の特定などの運用
機能が必要
– 高度な技術者の不足
• 開発には、サーバ / ネットワーク / プログラミングの総
合的な知識と高い技術力が求められる
• 技術者育成を計画的に取り組むことが必要

まとめ
• BIGLOBEでは、ユーザの要求に対応するため
SDNを自社データセンタに適用した
– インフラ構築の一連作業を自動化
⇒ リードタイム短縮を実現
– オーバーレイネットワーク導入
⇒ VLANの制限緩和を実現
• 今後は、以下の方針で開発を進める
– 1日以内のリードタイムの実現
– 運用機能の実現

学会への期待
• 本プロジェクトは、BIGLOBEとNEC研究所との
共同開発で実現
– アジャイル開発体制で実施
– 相互のノウハウを活用
• 運用者と研究者が力を合わせて
サービスに使えるものを生み出していきたい
– 「使えるもの」を作り上げるにはDevOpsが理想

クラウド型データセンタにおけるSDNの適用事例

More Related Content

What's hot

Viewers also liked

Similar to クラウド型データセンタにおけるSDNの適用事例

More from Taiji Tsuchiya

Recently uploaded

クラウド型データセンタにおけるSDNの適用事例