Copyright 2015 Bit-isle Inc. All Rights Reserved
フルオープンソースでここまでできる
OpenStackの構築と運用の現状
2015年4月24日
ビットアイル総合研究所 熊谷育朗
1
Copyright 2015 Bit-isle Inc. All Rights Reserved
自己紹介
 熊谷 育朗
‣ 所属:ビットアイル総合研究所
‣ Twitter: @kumagai19o
 普段の業務
‣ OpenStack を中心としたシステム基盤技術の構築・運用・検証
‣ OpenStack についての諸所の支援活動
 その他活動
‣ ビットアイル総合研究所ブログ( http://blog.bit-isle.jp/bird/ )
‣ OpenStackクラウドインテグレーション
2
Copyright 2015 Bit-isle Inc. All Rights Reserved
OpenStack紹介
3
Copyright 2015 Bit-isle Inc. All Rights Reserved
OpenStackとは
‣ OSS のクラウドOS
‣ AWSのようなクラウドインフラを誰もが構築できる
‣ 半年毎のリリースによる機能追加・改善
‣ 149カ国、483社、21175名を超える開発者の参加
‣ 豊富なユーザー事例
‣ 2014秋のサミットへの参加者は 4700名超
4
Copyright 2015 Bit-isle Inc. All Rights Reserved
Distributed Power
5
※ 世界中で利用されている
OpenStack ベースの
プライベートクラウド
※ 国内での利用事例
Copyright 2015 Bit-isle Inc. All Rights Reserved
OpenStackのリリースと対象コンポーネント
6
リリース名 リリース日
同梱コンポーネント
Compute
Object
Storage
Image
Service
Dashboard Identity Network
Block
Storage
Telemetry Orchestration Database
Data
Processing
Baremetal
Austin 2010年10月21日 Nova Swift
Bexar 2011年2月3日 Nova Swift Glance
Cactus 2011年4月15日 Nova Swift Glance
Diablo 2011年9月22日 Nova Swift Glance
Essex 2012年4月5日 Nova Swift Glance Horizon Keystone
Folsom 2012年9月27日 Nova Swift Glance Horizon Keystone Quantum Cinder
Grizzly 2013年4月4日 Nova Swift Glance Horizon Keystone Quantum Cinder
Havana 2013年10月17日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat
Icehouse 2014年4月17日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove
Juno 2014年10月16日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Sahara
Kilo 2015年4月30日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Sahara Ironic
Liberty 2015年10 - 11月 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Sahara Ironic
AWSの対抗サービス EC2 S3 AMI
Management
Console
IAM VPC EBS -
Cloud
Formation
RDS EMR -
サービス名
Queue
Service
Shared
file system
DNS
Service
Key
Management
コンポーネント名 Zaqar Manila Designate Barbican
AWSの対抗サービス SQS EFS Route53 KMS
これまでのリリースと同梱コンポーネント
インキュベーションコンポーネント
Copyright 2015 Bit-isle Inc. All Rights Reserved
フルオープンソースでここまでできる。
OpenStackの構築と運用の現状
7
Copyright 2015 Bit-isle Inc. All Rights Reserved
ご紹介する内容
 コンピュートノード
‣ オーバーコミット/ホストマイグレーション
 ネットワーク
‣ アーキテクチャ/現状の運用
 ストレージ
‣ 必要なストレージ/分散ストレージ Ceph
 Iaas以外の領域
‣ オーケストレーション(Heat)
‣ データベース(Trove)
8
Copyright 2015 Bit-isle Inc. All Rights Reserved
 OS: CentOS 7
 OpenStack: RDO juno
 Ceph : giant
あるOpenStackのサーバー構成
9
Compute
Controller &
Network
Volume (Ceph)
Copyright 2015 Bit-isle Inc. All Rights Reserved
 オーバーコミット
 Availability Zone
 ホストマイグレーション
トピック:コンピュートノード
10
Compute
Controller &
Network
Volume (Ceph)
Copyright 2015 Bit-isle Inc. All Rights Reserved
コンピュートノード
 オーバーコミット
‣ 1台のコンピュートノードに何台のVMが載るか
▪ CPU オーバーコミット率: 16 (デフォルト)
▪ メモリーオーバーコミット率: 1.5 (デフォルト)
▪ ディスクは thin provisioning
‣ プランニング例
▪ 6Core (HT) 36GBの場合
- 12Core × 16 = 192 core
- 36 × 1.5 = 54GB
→用途に合わせて変更して使う
11
Copyright 2015 Bit-isle Inc. All Rights Reserved
Availability Zone
 ユーザーが意識するVMの配置先
‣ AZ内で一番適したノードを自動で選択
‣ ユーザーはHVホストを意識しない
12
AZ1
AZ2
AZ2に作成
Copyright 2015 Bit-isle Inc. All Rights Reserved
OpenStackのホストマイグレーション機能①
 作成されたVMをAZ内でホスト移行する機能
‣ ホストマイグレーション - 停止を伴うホスト移行
- migrate : VM一台の移行
- host-servers-migrate : ホスト上のVM全てを移行
‣ ライブマイグレーション - 停止を伴わないホスト移行
- live-migration : VM一台の移行
‣ Evacuate :ホスト障害時のホスト移行
- host-evacuate-live : ライブマイグレーション 可能なもの全てを移行
- evacuate :
‣ 確認:マイグレーションの履歴を確認
▪ migration-list
13
AZ2
Copyright 2015 Bit-isle Inc. All Rights Reserved
OpenStackのホストマイグレーション機能②
 ライブマイグレーションデモ
‣ ping
‣ ssh
‣ ノード移行確認
 なお
 使用した環境
‣ CentOS 7.0
‣ Qemu : 1.5.3-60.el7_0.2
‣ Libvirt : 1.1.1-29.el7_0.7
14
Copyright 2015 Bit-isle Inc. All Rights Reserved
 仮想ルーターの配置
 ネットワークノード障害時の対応
 仮想ルーターの分散
トピック:ネットワークノード
15
Compute
Controller &
Network
Volume (Ceph)
Copyright 2015 Bit-isle Inc. All Rights Reserved
ComputeNetwork
OpenStackのネットワーク運用
 現状のNeutron の課題
‣ Network ノードがSPOF
▪ 複数台で分散は可能
 改善する機能はJunoでリリース
‣ DVR (分散仮想ルーター)
‣ L3-Agent-HA (分散仮想ルーター)
▪ しかしJuno版では not production ready
16
障
害
Copyright 2015 Bit-isle Inc. All Rights Reserved
SPOFありネットワークノードの運用(現状)
 ルーターのホスト移行
‣ 障害発生したNetworkノード上のルータを移行するコマンド
▪ 確認
- router-list-on-l3-agent
· ネットワーク上のルータを一覧
▪ 移行
- neutron l3-agent-router-remove
· 配置しているノードから削除
- neutron l3-agent-router-add
· 生存しているノードに追加
17
ComputeNetwork
障
害
Copyright 2015 Bit-isle Inc. All Rights Reserved
Compute
OpenStackのネットワーク運用(今後)
 分散仮想ルーター化
‣ オープンソースでの選択肢
▪ Neutron DVR
▪ Midonet
▪ OpenContrail
18
障
害
Copyright 2015 Bit-isle Inc. All Rights Reserved
 ブロックストレージの必要性
 デフォルト(LVM iSCSI)の問題
 Cephの特徴
トピック:ボリューム
19
Compute
Controller &
Network
Volume (Ceph)
Copyright 2015 Bit-isle Inc. All Rights Reserved
Cephを使用したブロックストレージ①
 ブロックストレージの必要性
20
物理内蔵ディスク
“Ephemeral” Storage
インスタンスの作成と同時に生成され、
削除と同時に削除されるストレージ
※コンピュートノードの内蔵物理ディスク上に
配置されることが多い
persist “Volume”
インスタンスとは独立して存在し、
どのインスタンス にもアタッチすることが可能な
ディスク
※外部記憶装置上に配置されることが多い
外部記憶装置
VM
物理サーバ
VM VM VM
Copyright 2015 Bit-isle Inc. All Rights Reserved
Cephを使用したブロックストレージ②
 デフォルトCinderの課題
‣ Cinder(Volume)のデフォルトは LVM-iSCSI
▪ 1ユーザーの1ファイルへのI/Oが他のユーザへ波及
▪ ボリューム削除時は 0 埋め初期化 -> IO占有
 Cephの特徴
▪ ファイルを4MBのチャンクにして分散配置
- I/O が分散する
▪ スナップショット・オートリバランス等の機能がある
‣ Ceph構築のポイント
▪ 開発用で性能はそれなりでよければ安い
▪ 性能を出したい場合は
- SSDと10GB nic があった方が良い。
- Nicのフレームレート等
‣ OpenStackユーザに人気
▪ OpenStack User Servey
21
Copyright 2015 Bit-isle Inc. All Rights Reserved
Iaas 以外のOpenStack
22
・ 状況
・ Heat
・ Trove
Copyright 2015 Bit-isle Inc. All Rights Reserved
Iaas 以外のOpenStack
23
リリース名 リリース日
同梱コンポーネント
Orchestration Database
Data
Processing
Baremetal
Havana 2013年10月17日 Heat
Icehouse 2014年4月17日 Heat Trove
Juno 2014年10月16日 Heat Trove Sahara
Kilo 2015年4月30日 Heat Trove Sahara Ironic
Liberty 2015年10 - 11月 Heat Trove Sahara Ironic
AWSの対抗サービス
Cloud
Formation
RDS EMR -
サービス名
Queue
Service
Shared
file system
DNS
Service
Key
Management
コンポーネント名 Zaqar Manila Designate Barbican
AWSの対抗サービス SQS EFS Route53 KMS
これまでのリリースと同梱コンポーネント
インキュベーションコンポーネント
Copyright 2015 Bit-isle Inc. All Rights Reserved
オーケストレーション(Heat)
 Heat
‣ 3種の記法(HOT , Yaml ,JSON)
‣ JSONはCloud Formation 互換
‣ デモ
24
Copyright 2015 Bit-isle Inc. All Rights Reserved
Database as a Service (Trove)
 画面  CLI
‣ レプリケーション
‣ クラスタリング
‣ 設定変更
 対応DB
‣ mysql
‣ その他
▪ Mongodb
▪ Redis
25
・どのような機能があるか
Copyright 2015 Bit-isle Inc. All Rights Reserved
ビットアイルのOpenStack
26
Copyright 2015 Bit-isle Inc. All Rights Reserved
OpenStack Trainingのご紹介
1日目
・OpenStack 概論
プロジェクトの概要と基本コンポーネントの説明
・OpenStack 基本操作ハンズオン
- 標準ダッシュボード「Horizon」を使用した操作のハンズオン
- CLIを使用した操作のハンズオン
・OpenStackアーキテクチャ解説(基本編)
2日目
・OpenStack環境の構築
RDO PackStackを使用したOpenStack環境構築ハンズオン
・OpenStack アーキテクチャ解説(詳細)
27
Copyright 2015 Bit-isle Inc. All Rights Reserved
ハイブリッドクラウド実証センターのご紹介
28
 ビットアイルデータセンター内
に構築されたOpenStack
環境の提供サービス
 OpenStack上の仮想ネット
ワークと各種パブリッククラウド
との相互プライベート接続が
可能
※当初はAWS VPCのみ
 1テナント辺り提供リソース
(予定)
‣ 50インスタンス
※50vCPU 50GBRAM
‣ 50 Floating ip
‣ 10仮想ネットワーク
‣ 1TB Block Storage
‣ 2TB Object Storage
internet
接続
Bit-isle
Connect
Public Cloud
Hosted Private
Cloud
Operation
(API)
Operation
(GUI)
エンドユーザ・システム
Copyright 2015 Bit-isle Inc. All Rights Reserved
Cannonical BootStack
29

フルオープンソースでここまで出来る。OpenStackの構築と運用

  • 1.
    Copyright 2015 Bit-isleInc. All Rights Reserved フルオープンソースでここまでできる OpenStackの構築と運用の現状 2015年4月24日 ビットアイル総合研究所 熊谷育朗 1
  • 2.
    Copyright 2015 Bit-isleInc. All Rights Reserved 自己紹介  熊谷 育朗 ‣ 所属:ビットアイル総合研究所 ‣ Twitter: @kumagai19o  普段の業務 ‣ OpenStack を中心としたシステム基盤技術の構築・運用・検証 ‣ OpenStack についての諸所の支援活動  その他活動 ‣ ビットアイル総合研究所ブログ( http://blog.bit-isle.jp/bird/ ) ‣ OpenStackクラウドインテグレーション 2
  • 3.
    Copyright 2015 Bit-isleInc. All Rights Reserved OpenStack紹介 3
  • 4.
    Copyright 2015 Bit-isleInc. All Rights Reserved OpenStackとは ‣ OSS のクラウドOS ‣ AWSのようなクラウドインフラを誰もが構築できる ‣ 半年毎のリリースによる機能追加・改善 ‣ 149カ国、483社、21175名を超える開発者の参加 ‣ 豊富なユーザー事例 ‣ 2014秋のサミットへの参加者は 4700名超 4
  • 5.
    Copyright 2015 Bit-isleInc. All Rights Reserved Distributed Power 5 ※ 世界中で利用されている OpenStack ベースの プライベートクラウド ※ 国内での利用事例
  • 6.
    Copyright 2015 Bit-isleInc. All Rights Reserved OpenStackのリリースと対象コンポーネント 6 リリース名 リリース日 同梱コンポーネント Compute Object Storage Image Service Dashboard Identity Network Block Storage Telemetry Orchestration Database Data Processing Baremetal Austin 2010年10月21日 Nova Swift Bexar 2011年2月3日 Nova Swift Glance Cactus 2011年4月15日 Nova Swift Glance Diablo 2011年9月22日 Nova Swift Glance Essex 2012年4月5日 Nova Swift Glance Horizon Keystone Folsom 2012年9月27日 Nova Swift Glance Horizon Keystone Quantum Cinder Grizzly 2013年4月4日 Nova Swift Glance Horizon Keystone Quantum Cinder Havana 2013年10月17日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Icehouse 2014年4月17日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Juno 2014年10月16日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Sahara Kilo 2015年4月30日 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Sahara Ironic Liberty 2015年10 - 11月 Nova Swift Glance Horizon Keystone Neutron Cinder Ceilometer Heat Trove Sahara Ironic AWSの対抗サービス EC2 S3 AMI Management Console IAM VPC EBS - Cloud Formation RDS EMR - サービス名 Queue Service Shared file system DNS Service Key Management コンポーネント名 Zaqar Manila Designate Barbican AWSの対抗サービス SQS EFS Route53 KMS これまでのリリースと同梱コンポーネント インキュベーションコンポーネント
  • 7.
    Copyright 2015 Bit-isleInc. All Rights Reserved フルオープンソースでここまでできる。 OpenStackの構築と運用の現状 7
  • 8.
    Copyright 2015 Bit-isleInc. All Rights Reserved ご紹介する内容  コンピュートノード ‣ オーバーコミット/ホストマイグレーション  ネットワーク ‣ アーキテクチャ/現状の運用  ストレージ ‣ 必要なストレージ/分散ストレージ Ceph  Iaas以外の領域 ‣ オーケストレーション(Heat) ‣ データベース(Trove) 8
  • 9.
    Copyright 2015 Bit-isleInc. All Rights Reserved  OS: CentOS 7  OpenStack: RDO juno  Ceph : giant あるOpenStackのサーバー構成 9 Compute Controller & Network Volume (Ceph)
  • 10.
    Copyright 2015 Bit-isleInc. All Rights Reserved  オーバーコミット  Availability Zone  ホストマイグレーション トピック:コンピュートノード 10 Compute Controller & Network Volume (Ceph)
  • 11.
    Copyright 2015 Bit-isleInc. All Rights Reserved コンピュートノード  オーバーコミット ‣ 1台のコンピュートノードに何台のVMが載るか ▪ CPU オーバーコミット率: 16 (デフォルト) ▪ メモリーオーバーコミット率: 1.5 (デフォルト) ▪ ディスクは thin provisioning ‣ プランニング例 ▪ 6Core (HT) 36GBの場合 - 12Core × 16 = 192 core - 36 × 1.5 = 54GB →用途に合わせて変更して使う 11
  • 12.
    Copyright 2015 Bit-isleInc. All Rights Reserved Availability Zone  ユーザーが意識するVMの配置先 ‣ AZ内で一番適したノードを自動で選択 ‣ ユーザーはHVホストを意識しない 12 AZ1 AZ2 AZ2に作成
  • 13.
    Copyright 2015 Bit-isleInc. All Rights Reserved OpenStackのホストマイグレーション機能①  作成されたVMをAZ内でホスト移行する機能 ‣ ホストマイグレーション - 停止を伴うホスト移行 - migrate : VM一台の移行 - host-servers-migrate : ホスト上のVM全てを移行 ‣ ライブマイグレーション - 停止を伴わないホスト移行 - live-migration : VM一台の移行 ‣ Evacuate :ホスト障害時のホスト移行 - host-evacuate-live : ライブマイグレーション 可能なもの全てを移行 - evacuate : ‣ 確認:マイグレーションの履歴を確認 ▪ migration-list 13 AZ2
  • 14.
    Copyright 2015 Bit-isleInc. All Rights Reserved OpenStackのホストマイグレーション機能②  ライブマイグレーションデモ ‣ ping ‣ ssh ‣ ノード移行確認  なお  使用した環境 ‣ CentOS 7.0 ‣ Qemu : 1.5.3-60.el7_0.2 ‣ Libvirt : 1.1.1-29.el7_0.7 14
  • 15.
    Copyright 2015 Bit-isleInc. All Rights Reserved  仮想ルーターの配置  ネットワークノード障害時の対応  仮想ルーターの分散 トピック:ネットワークノード 15 Compute Controller & Network Volume (Ceph)
  • 16.
    Copyright 2015 Bit-isleInc. All Rights Reserved ComputeNetwork OpenStackのネットワーク運用  現状のNeutron の課題 ‣ Network ノードがSPOF ▪ 複数台で分散は可能  改善する機能はJunoでリリース ‣ DVR (分散仮想ルーター) ‣ L3-Agent-HA (分散仮想ルーター) ▪ しかしJuno版では not production ready 16 障 害
  • 17.
    Copyright 2015 Bit-isleInc. All Rights Reserved SPOFありネットワークノードの運用(現状)  ルーターのホスト移行 ‣ 障害発生したNetworkノード上のルータを移行するコマンド ▪ 確認 - router-list-on-l3-agent · ネットワーク上のルータを一覧 ▪ 移行 - neutron l3-agent-router-remove · 配置しているノードから削除 - neutron l3-agent-router-add · 生存しているノードに追加 17 ComputeNetwork 障 害
  • 18.
    Copyright 2015 Bit-isleInc. All Rights Reserved Compute OpenStackのネットワーク運用(今後)  分散仮想ルーター化 ‣ オープンソースでの選択肢 ▪ Neutron DVR ▪ Midonet ▪ OpenContrail 18 障 害
  • 19.
    Copyright 2015 Bit-isleInc. All Rights Reserved  ブロックストレージの必要性  デフォルト(LVM iSCSI)の問題  Cephの特徴 トピック:ボリューム 19 Compute Controller & Network Volume (Ceph)
  • 20.
    Copyright 2015 Bit-isleInc. All Rights Reserved Cephを使用したブロックストレージ①  ブロックストレージの必要性 20 物理内蔵ディスク “Ephemeral” Storage インスタンスの作成と同時に生成され、 削除と同時に削除されるストレージ ※コンピュートノードの内蔵物理ディスク上に 配置されることが多い persist “Volume” インスタンスとは独立して存在し、 どのインスタンス にもアタッチすることが可能な ディスク ※外部記憶装置上に配置されることが多い 外部記憶装置 VM 物理サーバ VM VM VM
  • 21.
    Copyright 2015 Bit-isleInc. All Rights Reserved Cephを使用したブロックストレージ②  デフォルトCinderの課題 ‣ Cinder(Volume)のデフォルトは LVM-iSCSI ▪ 1ユーザーの1ファイルへのI/Oが他のユーザへ波及 ▪ ボリューム削除時は 0 埋め初期化 -> IO占有  Cephの特徴 ▪ ファイルを4MBのチャンクにして分散配置 - I/O が分散する ▪ スナップショット・オートリバランス等の機能がある ‣ Ceph構築のポイント ▪ 開発用で性能はそれなりでよければ安い ▪ 性能を出したい場合は - SSDと10GB nic があった方が良い。 - Nicのフレームレート等 ‣ OpenStackユーザに人気 ▪ OpenStack User Servey 21
  • 22.
    Copyright 2015 Bit-isleInc. All Rights Reserved Iaas 以外のOpenStack 22 ・ 状況 ・ Heat ・ Trove
  • 23.
    Copyright 2015 Bit-isleInc. All Rights Reserved Iaas 以外のOpenStack 23 リリース名 リリース日 同梱コンポーネント Orchestration Database Data Processing Baremetal Havana 2013年10月17日 Heat Icehouse 2014年4月17日 Heat Trove Juno 2014年10月16日 Heat Trove Sahara Kilo 2015年4月30日 Heat Trove Sahara Ironic Liberty 2015年10 - 11月 Heat Trove Sahara Ironic AWSの対抗サービス Cloud Formation RDS EMR - サービス名 Queue Service Shared file system DNS Service Key Management コンポーネント名 Zaqar Manila Designate Barbican AWSの対抗サービス SQS EFS Route53 KMS これまでのリリースと同梱コンポーネント インキュベーションコンポーネント
  • 24.
    Copyright 2015 Bit-isleInc. All Rights Reserved オーケストレーション(Heat)  Heat ‣ 3種の記法(HOT , Yaml ,JSON) ‣ JSONはCloud Formation 互換 ‣ デモ 24
  • 25.
    Copyright 2015 Bit-isleInc. All Rights Reserved Database as a Service (Trove)  画面  CLI ‣ レプリケーション ‣ クラスタリング ‣ 設定変更  対応DB ‣ mysql ‣ その他 ▪ Mongodb ▪ Redis 25 ・どのような機能があるか
  • 26.
    Copyright 2015 Bit-isleInc. All Rights Reserved ビットアイルのOpenStack 26
  • 27.
    Copyright 2015 Bit-isleInc. All Rights Reserved OpenStack Trainingのご紹介 1日目 ・OpenStack 概論 プロジェクトの概要と基本コンポーネントの説明 ・OpenStack 基本操作ハンズオン - 標準ダッシュボード「Horizon」を使用した操作のハンズオン - CLIを使用した操作のハンズオン ・OpenStackアーキテクチャ解説(基本編) 2日目 ・OpenStack環境の構築 RDO PackStackを使用したOpenStack環境構築ハンズオン ・OpenStack アーキテクチャ解説(詳細) 27
  • 28.
    Copyright 2015 Bit-isleInc. All Rights Reserved ハイブリッドクラウド実証センターのご紹介 28  ビットアイルデータセンター内 に構築されたOpenStack 環境の提供サービス  OpenStack上の仮想ネット ワークと各種パブリッククラウド との相互プライベート接続が 可能 ※当初はAWS VPCのみ  1テナント辺り提供リソース (予定) ‣ 50インスタンス ※50vCPU 50GBRAM ‣ 50 Floating ip ‣ 10仮想ネットワーク ‣ 1TB Block Storage ‣ 2TB Object Storage internet 接続 Bit-isle Connect Public Cloud Hosted Private Cloud Operation (API) Operation (GUI) エンドユーザ・システム
  • 29.
    Copyright 2015 Bit-isleInc. All Rights Reserved Cannonical BootStack 29