1.
Copyright©2014 NTT corp. All Rights Reserved.
OpenStack Operations(Ops)
Mid-Cycle Meetup 報告会
- Mid-Cycle in Mar, 2015 at Philadelphia -
2015年4月23日
ＮＴＴソフトウェアイノベーションセンタ
市川 俊一

2.
2Copyright©2014 NTT corp. All Rights Reserved.
• 氏名：
• 市川 俊一（としかず）
• 最近の経歴：
• 2009-2011:Eucalyptusを使ったIaaSのシステム開発
• 2011-2014:CloudStackを使ったIaaSのシステム開発・SE
• 2014-current：OpenStackを使ったIaaSのシステム開発
• 所属：NTTソフトウェアイノベーションセンタ
• オープンソースのクラウド基盤であるOpenStackを活用し、シ
ステムのスケールアウト／品質／運用性／セキュリティ等の非
機能要件を実現するクラウドコンピューティング技術の研究開
発に取り組んでいます。
• OpenStackコミュニティ活動を積極的に取り組んでいます。
自己紹介

3.
3Copyright©2014 NTT corp. All Rights Reserved.
• 開催日時
• 2015/3/9 – 2015/3/10
• 開催場所
• The Hub, Philadelphia, PA, USA
• Comcast が Meetup のホスト
• 主催者
• OpenStack Foundation
• 参加人数
• 約 150 人 (2日間合計)
• 日本から4名、EUから3名、他はUS国内
• 参加者多数のためキャンセル待ち＆会場変更が発生
• Etherpad
• https://etherpad.openstack.org/p/PHL-ops-meetup
OpsMeetup 概要

4.
4Copyright©2014 NTT corp. All Rights Reserved.
• OpenStack Operations Meetups （通称、Ops Meetup）
• 開催時期
• 6ヶ月毎に開かれるDesign summitの一部として開かれる
• さらに、Summitの間にMid-cycleとして開かれる。
• つまり3ヶ月毎。今回はParis SummitとVancouver Summit
の中間会合。
• 位置づけ
• OpenStackの運用の問題を収集する
• プラクティスや構成の共有の場を作る
• 運用者の積極的な参画を促す
• 形式
• Moderatorは進行役となり、
参加者が抱えている問題を聞きだし、
解決のための議論を促す。
• Etherpadをスクリーンに映し出し、
参加者も発言をリアルタイムに書く。
• 全員参加のGeneral Sessionsと
特定のトピックに絞ったWorking groupsの二種類
OpenStack Operations Meetups とは

5.
5Copyright©2014 NTT corp. All Rights Reserved.
今回のOps Meetupのプログラム一覧
• 1日目
• General Sessions
• OVS - issues/fixes/best
practices
• Security at the host level
• Tags Discussion
• What hardware are you
running?
• Arch Show&Tell
• Working Groups
(並列に開催)
• Application Ecosystem
• Tools/Monitoring
• Large Deployments
• 2日目
• General Sessions
• Rabbit HA and queue
issues
• Nova Feedback
• Network performance
optimization
• Capacity Management
• Arch Show&Tell
• Feedback
• Working Groups
(並列に開催)
• Testing/Interop
• Packaging
• Telco
• Burning Issues

6.
6Copyright©2014 NTT corp. All Rights Reserved.
• 本スライドでカバーする個別議題
• OVS - issues/fixes/best practices
• Security at the host level
• Tags Discussion
• Large Deployments
• Nova Feedback
• Network performance optimization
• Testing/Interop
• Burning Issues
• Arch Show&Tell
• Feedback
個別議題

7.
7Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• Nova についてOperatorからのフィードバックを得るためのセッション
• Moderator：Sean Dague (HP)
• 内容
• Cell v2
• Cell v2とは、Compute Nodeを複数のグループに分け、データベースやメッセージ
キューへのアクセスを沸けることで、システム全体のスケーラビリティを高めるため
の仕組み。現行のCellは方式に問題があり、作り直されることが決まっている。
• Cell v2のデータモデルはKiloに入るが、実装はLiberty以降となる。Cell v2 への
シームレスな移行（non-cellとcell v1の双方が対象）はM版で取り組むというマイ
ルストーンが示された。
• Cell v1を使っているユーザは6名おり、例外なく大規模システムを運用している
ユーザだった。
• Nova-network
• OpenStackとしてネットワーク管理機能が2つあるのは望ましくないため、
neutronに一本化して、nova-networkを外したい。ただし、neutronで
nova-networkと機能的に同等のことが実現できるのが最低条件。
• 大きな差は、nova-network の multi-host mode であって、neutron
のDVR(Distributed Virtual Router)が同等の構成を実現する候補。
• しかし、Juno版で組み込まれたDVRに品質面で問題があり、まだ不十分と
いう声があった。Kilo版で改善される見通し。
Nova Feedback (1/2)

8.
8Copyright©2014 NTT corp. All Rights Reserved.
• Shelve
• 境界ケースでおかしな挙動が残っており、まだ商用品質には達していないとい
う声があった。
• ビジネス側のニーズの高さは認知されており、取り組まなければいけない課題
として認識されていた。
• 会場調査
• Cephを使っているか？という質問に対して、会場で挙手に応じた人のうち、
50％が使っていて、50％が使っていない、という結果だった。
• LiveMigrationを使っているか？という質問に対して、 50％が使っていて、
50％が使っていない、という結果だった。
• 会議の後
• Dev MLでnova-networkへのマイグレーションの支援ツールを作るプロジェクト
がKiloリリースまで一旦凍結になることが発表された。まだnova-networkユーザ
とのギャップが大きいと認識されたため。
http://lists.openstack.org/pipermail/openstack-dev/2015-
March/060029.html
• 所感
• Operator会議ということもあり、マイグレーションが大きな話題になっていた。
既存のユーザの声が重視・尊重されている。
• Nova-networkの廃止まではまだ時間がかかりそうだが、会場には確かに移行のた
めにDVRの評価を始めているユーザもおり、またドキュメントの整備を行おうとし
ているメンバもおり、着実に前進している印象も受けた。
• Cephがかなり使われているという印象を受けた。
Nova Feedback (2/2)

9.
9Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• Neutronのドライバの一つであるOpen vswitchに関するセッ
ション
• Moderator: Andy Hill （Rackspace）
• 内容
• 安定性
• 古いバージョンのOVSは不安定だったが、最近はだいぶ改善されてき
て安定している、という意見が多数。
• OVSのクラッシュの経験者を会場で調査したところ、バージョン2.0.x
は多数手があがったが、バージョン2.1以降は手があがらず。
• バージョンを上げるのにOS再起動がいるので、VMの退避を強いられ、
大変だったという話もあり。
• OVSにまだ不満、不信感を持っていて、LinuxBridgeへの移行を考え
ているという人もいた。
• 会場調査
• IPv6を使っているか、の質問に対して、6名程度の手が上
がっていた。
• トンネリングプロトコルの質問に対して、vxlanでかなりの
手（10数名）があがった。STTも数名いた。
OVS - issues/fixes/best practices (1/2)

10.
10Copyright©2014 NTT corp. All Rights Reserved.
• 最新のネットワークガイド
• 次のドキュメントが最近の機能を考慮したネットワー
クガイドとして薦められていた。
https://github.com/ionosphere80/openstack-
networking-guide
• 5つの構成別に構成、仕組み、設定ファイルの例が書かれている。
• Scenario: Legacy implementation with Linux Bridge
• Scenario: Legacy implementation with Open vSwitch
• Scenario: Provider networks with Open vSwitch
• Scenario: Basic implementation of DVR
• Scenario: Basic implementation of Layer 3 High-Availability
with Open vSwitch
• 所感
• コミュニティの開発の主流は現時点ではOVSであり、多
数派もOVS。例えば、DVRはOVSでなければ動かないな
ど。現時点で選択するならOVSが無難そう。
• 上記のネットワークガイドは良くまとまっているので一読
の価値あり。DVRとL3-HAは新しいので、よく評価して
から使うべき。
OVS - issues/fixes/best practices (2/2)

11.
11Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• ネットワークの性能に関するセッション
• Moderator: Edgar Magana (Workday)
• 内容
• Jumbo Frame
• SDN/Tunnelingプロトコルを使うために、Jumbo frameを使ってい
るケースがある
• 内部ネットワークのストレージアクセスでは9,000バイトに広げる事
が良く行われる。
• Security Groupの実装は高いPacketレートだと問題にな
りうるという声があった。
• VXLAN
• （10Gbpsネットワークで）パフォーマンスを改善するため
にはNIC offloadingを働かせるのが重要であり、Intel NIC
でOS付属ではない最新のドライバを使うべき、という声が
あった。
• ToR（L3）をまたぐ形でL2ドメイン（セグメント）をvxlan
で組むシステムを試して、パフォーマンスのインパクトも少
なくてうまく行ったという声があった。
Network performance optimization (1/2)

12.
12Copyright©2014 NTT corp. All Rights Reserved.
• L3 agentを別ノードで移動（起動）させると、起
動処理にかなりの時間がかかり、ルータの停止時間
が長いので改善して欲しいという声があった。
• メンテナンスの場合は、L3 agentをいきなり止めるのではなく、ルー
タを一つずつ動かせばダウンタイムを10秒以下に抑えられるが、フェ
イルオーバーではダウンタイムが長くなる。
• 会場調査
• どんなネットワークを使っているか？（etherpadへの
書き込みで）
• ML2 OVS 7件
• ML2 LinuxBridge 4件
• Nova-network 1件
• NSX 2件
• Midonet 1件
• 所感
• VXLANはテナントネットワークでかなり使われて
いて、当たり前になってきている。
Network performance optimization (2/2)

13.
13Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• タグの導入を議論するセッション
• Moderator: ThierryCarrez（OpenstackFoundation)、
Subbu Allamaraju (eBay)、Jon proulx (MIT)、Tom
Fifield（Openstack Foundation）
• 内容
• タグとは、プロジェクトの状態をユーザに分かりやすく伝える
ことが目的。各プロジェクト毎に管理する。
• 背景は、たくさん出てきている新規プロジェクトがIntegrated
releaseに入っていないと、一律非公式と扱われてしまう。プロジェク
ト毎に状況は千差万別にも関わらず。
http://ttx.re/the-way-forward.html
• 多くが賛成という意見。タグとしてOperatorが欲しい情報は？
• 安定性、運用性（アップグレードに対応しているか）、スケーラビリ
ティ、ドキュメントの状況、バグ修正のバックポート、パッケージ、
プロジェクト間の互換性、プロジェクト間の依存関係、
• Integrated release（半年毎のリリース）を完全に代替できる
ものになるか、という質問に対して、
• プロジェクト間の互換性と依存ライブラリの互換性を保つ役割の代替
はできない、という否定的な声が目立った。
Tags Discussion (1/2)

14.
14Copyright©2014 NTT corp. All Rights Reserved.
• 会場調査
• 一緒に動作すべきと考えているプロジェクトは？という質問に対して、
• keystone: ほぼ全員
• nova: だいたい全員
• swift: 半分
• cinder: 75%
• neutron: 75%
• glance: おおよそ全員
• designate: 10%
• horizon: おおよそ全員
• heat: 33%
• ceilometer: 33%
• trove: 少数
• sahara: 0
• ironic: 4
• barican: 0
• manilla: 0
• tripleo: 0
• 所感
• Integration release（半年毎のリリース）はCoreプロジェクトを中
心に続けられ、Non-coreプロジェクトが各プロジェクトのタグを
使った個別のリリースに移行していくのではないか。Non-coreプロ
ジェクトの動きは加速しそう。
Tags Discussion (2/2)

15.
15Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• 試験（ＱＡ）と相互接続性（インフラとアプリの間）につ
いてのセッション
• Moderator: Chris Hoge (Openstack Foundation)
• 内容
• 商用プロダクトを検査する上でどんなテストを使っている
か？という質問に対して、
• コミュニティのQAプロジェクトが管理しているTempest
（API試験ケース）のサブセットを適用する、というが、皆が
行っている基本的な方法。
• スケジューラやシステムの状態に依存するテストケースは
Tempestではカバーするには不向きなので、独自のスクリプト
で実施している、という声が数名あった。
• Tempest以外に、コミュニティではRallyというフレーム
ワークを導入していく方向になっている。
• Rallyは、性能や安定性を測ることができるツール。テストケー
スの実施回数、並列数を指定して、所要時間や結果を保存して
くれる。
• 例えば、VMの起動20回を6並列で実施する、とか。
Testing/Interop (1/2)

16.
16Copyright©2014 NTT corp. All Rights Reserved.
• Defcoreプロジェクトは、OpenStackとは何かの
定義作り、OpenStackの商標・ラベルの適用条
件作りに取り組んでいる。
• コミュニティのQAプロジェクトが持っているTempestのテ
ストケースから抜粋する形で認定試験を定義する、というド
ラフトが提示された。
https://github.com/openstack/defcore
• コミュニティからのフィードバックを集めている状況
• 会議の後
• 最新のDefCoreセット「2015.04.json」を見てみ
ると、nova, glance, cinder, swift のテストケー
スの一部が指定されている。100件未満。
• 所感
• DefCoreの試験セットは今は小さいが、今後増え
ていくのではないか。OpenStackとして売る際
にカスタマイズをする時は要注意。
Testing/Interop (2/2)

17.
17Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• OpenStackの運用者視点で、ホストレベルのセキュリティ問題
を議論するセッション
• Moderator: Curtis Collicutt （Auro)
• 内容
• ユーザのリソース側（Hypervisor）についてのセキュリティ
• 迷惑ユーザ(abuseユーザ）への対応
• VMのイメージの保存は、qcow2のイメージをコピー。
• ユーザのリソースの削除、インスタンス・ボリューム・ルータ等を削除する。こ
れという機能はなくて、お手製のツールでやっている、という声もあった。
• ネットワークのフィルタリング
• Inbound DDoSがiptables conntrackを消費しないようにiptablesレベルで
レート制御を導入している、という声があった。
• SNMP (port 25)のOutboundにレート制御を入れるのに、iptablesレベルで実
施している、という声があった。
• 予期しない挙動（バグ）による問題
• Nova-networkを使っていて、インスタンスが消えた後にFloating IPがブリッ
ジについたまま残存し、ホストが到達可能になっていたことがある。
• Neutronでは起きてない。タイミングによってデータが残ってしまうケースが
あって発生するか？
Security at the host level (1/2)

18.
18Copyright©2014 NTT corp. All Rights Reserved.
• コンテナのセキュリティ（コンテナ間やコンテナとホストの隔
離）はどう保つ？
• コンテナはセキュリティを保証するものではないので、VM(hypervisor)を使え、という声
があった。
• Namespaceとapparmorを使ってコンテナのセキュリティを改善する仕組みとしてLXDな
どがある。
• 制御系（Control Plane）についてのセキュリティ
• APIはLoad Balancerの裏側におく。Load Balancer
より上位でフィルタリングやIDSなどを必要に応じて行
えばよい。
• レート制御
• KeystoneのAPIについてはパフォーマンスとセキュリティのために
OpenReposeを使ってレート制御をかけている、という声もあった。
• 所感
• インターネット・外部ユーザに接している利用例では一般
的ではあるが悩ましい課題も多く、周辺の機器・ツールと
組み合わせたり、手を入れて対処している。
• Nova-networkをpublicネットワークで使っている人は要
注意。
Security at the host level (2/2)

19.
19Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• 大規模なシステムについて議論するセッション
• Moderator：Jesse Keating（Bluebox) Andy
Hill(Rackspace Hosting)
• 内容
• 大規模にスケールさせると問題になることは？
• Ceilometerはバックエンドがあまりスケールしない、
という声があった。
• Rackspaceは、StacktachとYagi（どちらもオープンソースとして公開さ
れているNotificationを処理するツール）を使っている、という声があった。
• KeystoneのCatalogサイズ
• Juno版NeutronのAPIパフォーマンス
• memcachedで緩和できるが、タイムアウトエラーを主にメタデータオペ
レーションで見る、という声があった。また、Kiloではリファクタされ改善
されている、という声もあった。
Large Deployments (1/2)

20.
20Copyright©2014 NTT corp. All Rights Reserved.
• スケジューリングやホスト制御に関する開発者への要
望
• enable_new_servicesという設定が紹介・議論されていた。
• 新たにスケジューラのプールに追加されたものの状態をEnabledかDisabledに
するか選べる設定。（バグ報告が1件あるがinvalidの状態）
• 会場にいた人はDisabledにする、がほとんどだった。（デフォルトはEnabled
だが。）
• IPv6を使っている人が部屋の中に数名いた。
• まだ管理網をIPv6のみで動かすことはできず、数
箇所v4を使わなければいけないところがある、と
のこと。
• 所感
• 大規模なプレーヤがいくつかいることで、スケーラビ
リティの問題もコミュニティで常に意識され、声があ
がっている。
• ホスト増設の地味な機能をやはり運用者は使っていて、
着目されている。また、機能も整いつつある。
Large Deployments (2/2)

21.
21Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• 各社のアーキテクチャに関するライトニングトーク
• 内容
• TimeWarnerCable
• ActiveDirectoryを使った大規模なユーザ認証をmysql
galera クラスタで実現
• Godaddy
• Spineを使用したOpenStack基盤構築
• BlueBox
• BlueboxでのOpenStack構築
• Rackspace
• Public Cloudについて、XENを使ったOpenStack構築
• Sony
• 動的なリソースのオーバーサブスクライブ
• Rackspace
• Private CloudをAnsbileで構築（ソースコード共有あり)
Arch Show & Tell (1/3)

22.
22Copyright©2014 NTT corp. All Rights Reserved.
• 内容
• プライベートクラウドの事例：BlueBox
• 特徴
• network: Neutron ml2 v[x]lan, ovs obviously
• minimum of 3 physical nodes
• control on two, compute across all three,
• demo block storage on one, production block
storage on NAS
• centralized logging (logstach, elastisearch,
kibana)
• Logstach, elasticsearch, kibanaを使っているが、顧客に見せるた
めではなくて、あくまで自分たちの運用・解析用とのこと。
• centralized monitoring (sensu)
Arch Show & Tell (2/3)

23.
23Copyright©2014 NTT corp. All Rights Reserved.
• HAproxy balancing
• UCARP managed internal/external floating IPs
• rabbitmq active / passive（not clustered）
• network routing / dhcp moves with floating IP (with
own script)
• Percona Galera mysql cluster w/ two data nodes,
one arbiter node
• Delivery Ubuntu base OS via Razor
• 所感
• プライベートクラウドといえども冗長化は組み込まれ
ている。
• コントロールノードは2台として、Active/Passiveと
して単純な構成で運用しやすそう。
• Percona MySQL Clusterは、3台のノードを全てデータ
ノードにするのではなく、2台をデータノードにして、1台
をarbitrator nodeにしている。Arbitrator nodeは多数決
の投票にだけ加わって、スプリットブレインを防ぐ。
Arch Show & Tell (3/3)

24.
24Copyright©2014 NTT corp. All Rights Reserved.
• 概要
• この会議を振り返るセッション
• 内容
• 良かった点
• 環境、飲食の提供、イブニングイベント
• セッションごとのetherpad
• 改善点
• 開催期間の延長、参加者（男女比率改善、PTLへの参加呼びかけ）
• セッション（WGをもっと増やす、デモセッションを設ける）
• 議論（一部の声の大きい参加者たちで議論がされていた）
• その他（Wi-Fiが遅い、コーヒーの味がいまいち、名札の改善）
• バンクーバサミットに向けて
• 部屋の確保、各プロジェクトとの連携の改善
• 開発セッションでの運用者のプレゼンス向上（パリでは締め出された）
• 以降のOps Meetupに向けて
• 300人規模の会場の確保、スポンサーの確保、ボランティアの確保
• 地域のオペレータイベントの開催、オンライン開催、定期開催
• 所感
• 現状の参加者はおおむね満足で、有意義であると考えている。
Feedback

25.
25Copyright©2014 NTT corp. All Rights Reserved.
•Ops Meetupとは次のような場：
•開発者やコミュニティが運用者の課題を
把握・重視して、解決に取り組んでいる
• Nova Feedback、RabbitMQ、Testingなど
• 既存環境からの継続性、実運用を尊重するからこそ、
新機能の実現に時間を要することもありますが。
•他の運用者が経験により得たノウハウと
注意点を知ることができて、有用である
• Networking、Security、Large Deploymentなど
•運用者も仕組み作りに参加している
• Tags Discussionなど
まとめ

26.
26Copyright©2014 NTT corp. All Rights Reserved.
• Ops Meetupは、
運用者にとって非常に有益な会議
• 運用していて課題・要望を抱えている人は、
Ops Meetupに参加すべき
• 解決方法もしくは共通の課題を抱える仲間が見つかるかも
• 運用の現実を知っている者同士で議論すると解決のヒントが
得られるはず
• 北米中心ですが参加者は急速に拡大中
• Mid-cycleでみるとPhiladelphiaは前回San Antonioの2倍
• 日本の運用者にも広く参加を呼びかけたい
• 国内だけで参加者が十分集まるのであれば、
国内版のOps Meetupをやってはどうか
• 日本の運用者の声としてまとめてあげることで、コミュニ
ティや開発者の注目を得られるはず
まとめ

27.
27Copyright©2014 NTT corp. All Rights Reserved.
•今後の予定
•OpenStack Summit at Vancouver
• 2015年5月18日から5月22日
• Design SummitやOps Meetupが開催
• 既にOpsのetherpadは盛り上がっています。
https://etherpad.openstack.org/p/YVR-ops-
meetup
•Ops Mid-Cycle Meetup
• 詳細未定ですが、予定されています。
•OpenStack Summit at Tokyo
• 2015年10月27日から10月30日
• 初めての国内開催
• （海外出張する必要なく）発表や議論に参加し
て、コミュニティにアピールするチャンスです
コミュニティのイベント予定