openstack presentation slide. Install openstack(icehouse) on ubuntu14.

1. ● openstack（keystone,glance,nova,neutron)でVMを作
るところまでを紹介
● 大まかな流れを紹介し、実際に自分で構築する際に
役立てば、ということを想定
● 初めてopenstackを触る方、触ってみたけど上手くい
かないという方に向けてお送りします
● neutronまで一通り作れちゃったよ、という人には物
足り無いかもしれません。

2. OpenStackってどんなもの？
-OpenStackと私、
クラウド基盤になんか絶対に負けな
い-
Joe's クラウドコンピューティング
奥村 彰允

3. 自己紹介 & 趣旨
● 2013年12月よりJoe's クラウドコンピューティングに勤務
● 業界入りたてほやほやの私がヤムチャ視点でopenstackを使ったクラウド基盤構築に挑戦
● openstackとはなんぞや？から始まり複数のコンポーネントなど、openstackのここが初めはきつい
的なところを紹介していければと思っています。
● 何故クラウド基盤が必要とされるかについて
● openstackを初めて触る
● VM（仮想マシン）を稼働させたい
● openstack最大の難所であるneutronを使ってみる
● マルチノードで構築
● devstackなどは使わずにチマチマインストールを目指す
● Ubuntu-14にicehouseを入れる
● OpenStack Manuals OpenStack インストールガイド Ubuntu 12.04/14.04 (LTS) 版 - icehouseの設
定をだいたい使っている。こんなの余裕！という人には物足りないかもしれないです

4. 自己紹介
社名 株式会社Joe'sクラウドコンピューティング
代表取締役 鈴木 禎子
設立 2002年
資本金 1000万円
事業内容
● クラウドホスティング事業
– 専用サーバー、クラウドサーバー
– ドメイン取得
– サポートの幅広さ
● 情報セキュリティ事業
– SSL証明発行
● 経営支援事業
– バーチャルオフィス

5. openstack
SERVER
仮想マシン
（VM)
ユーザー
IaaS
これがopenstackでできる

6. 何が便利なのか？
● 柔軟なリソース配分ができる
● コスト削減
● 必要に応じて仮想マシンは増減できる
● サーバ導入時間の短縮

7. openstack - コンポーネント
コアコンポーネント
まとめてOpenStack
今回はNOVAです
コンピュートサービスを提供
VMを動かすコンポーネント
ネットワークはnova network
KEYSTONE
認証
GLANCE
イメージ管理
NOVA
コンピュータ
HORIZON
コントロール
パネル
NEUTRON
（QUANTUM）
ネットワーク
CINDER
ブロック
ストレージ
SWIFT
オブジェクト
ストレージ
OPENSTACK

8. openstack - コンポーネント
● 他にも新しいコンポーネントが増え続けている
– heat - Orchestration Service
VMに対するアプリケーション提供
– ceilometer – Telemetry
VM等の各種情報を収集、提供

9. ノード？コンポーネント？
● google先生から調べていくとよくノードという言葉にでく
わす。
● openstackの場合、コンポーネントで機能が分割されてい
るので、対応するものを入れれば○○ノード完成
ネットワークノード
neutron
neutron
コントロールノード
neutron
ネットワークノード

10. VM作成を目指して
● コンポーネントの中でもVMを動かすためには以下の物が必須
● keystone - 認証
● glance - OSイメージ管理
● nova - コンピュータ（VM動作）
● neutron – 今回のラスボス。ネットワーク
※nova-networkはいずれなくなりneutronに一本化される そうで
ある。
● この4つが動けばVMが動きます
OpenStack ManualsOpenStack インストールガイド Ubuntu
12.04/14.04 (LTS) 版 - icehouse にだいたい準拠

11. ネットワークについて
ネットワーク
ノード
ネットワーク
ノード
コントロール
＋
コンピュータ
ゲートウェイ
操作用
システムには関係なし
外部ネット
内部ネット
● 全ての外部通信はネットワー
クノードを通る
● 操作用は後々neutronでブリッ
ジ接続などやるとばっつりnic
切れたりするので保険として
● システム内の情報は全部内部
ネットでまかなう

12. 下準備編
● 全ノードでやるべきこと
● hostsファイルを使ってノード間を名前解決できるように
しておく。
● レポジトリなんかも設定
● mysqlを各ノードで扱えるようにする
● コントロールノードのみ（任意のマシンでもいい）
mysql-server、rabbit-mqを入れておく

13. DBとレポジトリインストール
データベース環境を整える
1.# apt-get install python-mysqldb
パッケージ情報
1.# apt-get install python-software-properties
2.# add-apt-repository cloud-archive:icehouse
3.# apt-get update && apt-get dist-upgrade
4.# reboot

14. mysql-server
データベース環境（inno-db）を整える
1.# apt-get install mysql-server
2.my.cnfに以下追加
bind-address = <インストールしたマシンのinternal-IP>
default-storage-engine = innodb
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8

15. Rabbit-MQ - キューサービス
● マニュアルではさっくり書かれてるけど重要
1.# apt-get install rabbitmq-server
2.# rabbitmqctl change_password guest <pass>
guestアカウントは元からあるので、パスワード指定するだけ
※これがきちんと動作しないとどんなコンポーネントでも
～messaging server～などのエラーログとともに動かなくなる
また、常にネットワークで他ノードと通信をしているの
で、rabbitmqのエラーはネットワーク障害を疑う指標にもなる
後々全てのコンポーネントでrabbitmqの設定があります

16. だいたいやることは一緒？各種設定
● 各コンポーネントでお決まりの設定事項みたいなものはあ
る。これを抑えてるとミスりポイントが減る
● ここで行う設定が各コンポーネント間を取次openstackと
して機能する要ともなる

17. keystoneに見るだいたい同じ設定
● コンポーネントが別れていてもだいたいお決まりの設定というのが
ある。一応抑えておくとミスが減るかも？
● ここで行う設定が各コンポーネント間を取次openstackとして機能
する要ともなる
1. コンポーネントのインストール
2. データベースの作成
3. confにDB設定書いてテーブル作成
4. keystoneにコンポーネント（サービス）登録
5. 各種confにデータベース、rabbit-mq、keystoneの認証情報記述
● とりあえずkeystoneをインストール
# apt-get install keystone

18. keystone
● DB作成
mysql> CREATE DATABASE keystone;
DB作成
mysql> GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'localhost'
IDENTIFIED BY 'KEYSTONE_DBPASS';
mysql> GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'%'
IDENTIFIED BY 'KEYSTONE_DBPASS';
localhostとシステム内のネットワークにアクセス権限を持たせる。
%は内部ネットだけなら 192.168.0.% みたいにしても可
● ここでミスると、keystoneのログにDB認証エラーとかデータベー
ス名が間違ってるといったエラーが出る

19. keystone
● confにDB設定書いてテーブル作成
● テーブル作成
● <サービス名>-manage db_syncというのはだいたい同じ
● ただしneutronはコマンドがないし必要ない
● novaはnova-manage db syncだったりする
keystone.confに
[database] ←これが抜けてもだめなので注意
connection = mysql://keystone:KEYSTONE_DBPASS@<ホスト名>/keystone
# keystone-manage db_sync

20. ● たまに設定ミスなどでdbできていないときがある。
● 最初はdatabase内にtableが作られているか確認したほう
がいい。
● 成功したかどうかはコマンド実行してもぱっと見わからな
いので。。。
● ちなみに失敗していた場合、sqliteとかでどっかのディレ
クトリにDBを作るので見た目普通に動くのが厄介

21. 次ココ
● コンポーネントが別れていてもだいたいお決まりの設定と
いうのがある。一応抑えておくとミスが減るかも？
1. コンポーネントのインストール
2. データベースの作成
3.confにDB設定書いてテーブル作成
4.keystoneにコンポーネント（サービス）登録
5. 各種confにデータベース、rabbit-mq、keystoneの認証情
報記述

22. サービスをkeystoneに登録
KEYSTONE
TENANT ROLE USER
SERVICE
サービス
認証
ENDPOINT

23. ● 各種コンポーネントの提供するサービスについても、一般
ユーザーと同じような形で認証情報を作っておく
● ただし初めはkeystone自体まっさらなので、予めconfに認
証用tokenを用意しておく
● admin_token = <任意の文字列> ←をkeystone.confに
●
●
●
● これでkeystoneコマンドが通るようになり準備ok
# export OS_SERVICE_TOKEN=ADMIN_TOKEN
# export OS_SERVICE_ENDPOINT=http://<ホスト名>:35357/v2.0

24. 全てで使うadminユーザー
● 後は全サービス同じ流れになる
ユーザー作成
# keystone user-create --name=admin –pass=ADMIN_PASS
ロール作成
# keystone role-create –name=admin
テナント（プロジェクト）作成
# keystone tenant-create --name=admin --description="Admin Tenant"
ロールを使ってテナントとユーザーを繋ぐ
# keystone user-role-add --user=admin --tenant=admin --role=admin

25. テナント作成（名前がserviceというのもお決まり）
# keystone tenant-create --name=service --description="Service Tenant"
サービスを作成（--typeというのは各サービスで決められている）
# keystone service-create --name=keystone --type=identity
テナント（プロジェクト）作成
servide-idがわからなくなったら # keystone service-list
# keystone endpoint-create --service-id=<service-id>
--publicurl=http://<ホスト名>:5000/v2.0
--internalurl=http://<ホスト名>:5000/v2.0
--adminurl=http://<ホスト名>:35357/v2.0

26. glance
● glanceはものすごく楽です。
● なのでスキップさせて頂きます。申し訳ない！
glanceはVMにつかうOS管理サービスです
成功するとこんな感じです
# glance image-list
+--------------------------------------+--------+-------------+------------------+----------+--------+
| ID | Name | Disk Format | Container Format | Size | Status |
+--------------------------------------+--------+-------------+------------------+----------+--------+
| b9ed36e8-086e-4a88-907c-1fb862a09c80 | cirros | qcow2 | bare | 13167616 | active |
+--------------------------------------+--------+-------------+------------------+----------+--------+

27. nova - コントローラ
● novaのコントローラを入れていきます。
● コントローラは具体的にはVM作成時のホスト選定や、管
理などなどを請け負います。
● とりあえずはまるっと必要なものをインストール
# apt-get install nova-api nova-cert nova-conductor
● nova-consoleauth nova-novncproxy nova-scheduler
python-novaclient

28. novaインストールでの注意点
● 基本的なところはkeystone、glanceと同じです。
●
endpoint登録時の注意%(tenant_id)s はそのまま
glanceの場合
# keystone endpoint-create --service- id=<service-id>
--publicurl=http://<host>:9292
--internalurl=http://<host>:9292
--adminurl=http://<host>:9292
novaの場合
# keystone endpoint-create --service-id=<id>
--publicurl=http://<host>:8774/v2/%(tenant_id)s
–internalurl=http://<host>:8774/v2/%(tenant_id)s
--adminurl=http://<host>:8774/v2/%(tenant_id)s

29. nova.conf
my_ip=<internal-ip>
auth_strategy=keystone
glance_host=<controller-host>
全部自ホストのinternal-ipでいいのですが、my_ipは間違えると正常
に動作しなかったりします。my_ipはホスト名でもだめです。IPで
ここで設定したIPは他ホストからの通信で使われる。
2014-01-08 15:56:27.364 1419 INFO nova.api.openstack [req-1348d9ee-7677-
4218-a552-41480292c360 1d6ab8358b84416d998feb0f89964bd8
1e6ccec7f7f640dbace6fcedd1957fab]
http://hogehoge:8774/v2/1e6ccec7f7f640dbace6fcedd1957fab/images/detail
returned with HTTP 500

30. connection = mysql://nova:<passwd>@<internal-ip>/nova
[keystone_authtoken]
auth_host = <internal-ip>
auth_port = 35357
auth_protocol = http
admin_tenant_name = service
admin_user = nova
admin_password = <passwd>
rpc_backend = nova.rpc.impl_kombu
rabbit_host = <internal-ip>
rabbit_password = <passwd>
認証
NOVAKEYSTONE
Rabbit-MQ
Nova
compute
Nova
Conpute
node2
Nova
conductor Nova
scheduler

31. nova-compute
nova-computeは実際にVMが動作する仮想環境を提供します。
# apt-get install nova-compute-kvm python-guestfs
nova.confに追記
glance_host=<glance-internal-ip>
# service nova-compute restart
ちなみにコンピュートノードだけ増やしたい時は、作成したnova.conf
をさくっと別のマシンにもっていってホスト名の指定がある部分だけ
変えればそれで動きます。
動いてるnova関係のノードは、 # nova service-listとかすれば見れます

32. ここまでで
neutron
ポート設定
sec-group
OS-image
glance
リソース設定
nova-flavor
# nova boot VM生成！

33. neutron
● neutronは何故難しいのか？
– nicの数や、ノードの数、VMへの接続方法など取りうる選択
肢が多い。多い故に悩む（コピペできない）
– 作るネットワークタイプによって設定ファイルの記述もか
わってくる。
– 用いる技術によっても異なる（vlan、GRE）
– 設定ファイルが多い。
– logを読んでも原因がよくわからないこともある
– ブリッジを作ったりするのでいきなりネットが切れること
がある（リモートで操作してるとたまに泣く）
– 初見殺し
– そのうち自分が何をしているのかわからなくなる

34. 構想を練る
ネットワーク
ノード
ネットワーク
ノード
コントロール
＋
コンピュータ
ゲートウェイ
操作用
システムには関係なし
外部ネット
内部ネット
● 全ての外部通信はネットワー
クノードを通る
● システム内の情報は全部内部
ネットでまかなう

35. 設定していくにあたって
● 各種confファイルの設定についてはgoogle先生にしつこく
聞けば日本語でもドキュメントはぼちぼちあります。
● しかしまずここがわかってないと話が見えてこないよ、っ
てところを今回は話していきます。

36. L3？L2？
● l3というのがちょくちょく出てくる。これはNATでネット
ワークを外部に出す役割がある。
● 対してl2ではコンピュートノードにくっついてVM側の
ネットワーク処理を担当する。VMから先の通信をvlanや
GREで分離している、ということになる。openstackでは
ml2プラグインが該当する。

37. 基本的な流れを抑える
● 各種サービスをノードごとにインストール&セットアップ
コントロー
ル
ネットワー
ク
コンピュー
ト
1. neutron-common
2. neutron-plugin-ml2
3. neutron-plugin-/
openvswitch-agent
1. neutron-server
2. neutron-plugin-ml2
3. python-neutronclient
1. neutron-plugin-ml2
2. neutron-plugin-
openvswitch-agent
3.neutron-l3-agent
4.neutron-dhcp-agent
1. neutron-common
2. neutron-plugin-ml2
3. neutron-plugin-
openvswitch-agent

38. ネットワーク作成
外部ネットワーク
- Flat network -
テナント（プロジェクト）A
Router A
VM1 VM2
1. open-vswitchを使って各種ブリッジを作る
2. NICの設定をする
3. 外部ネットワーク＆サブネットを作成
4. 内部ネットワーク＆サブネットを作成
5. 仮想ルータを作成
6. 仮想ルータに外部、内部ネットワークを繋
ぐ
7. VM作成

39. ブリッジ作成
外部ネットワーク
- Flat network -
テナント（プロジェクト）A
Router A
VM1 VM2
• ブリッジを作る
• ブリッジは3種類あればいい
●
● 全ノード(名前はbr-intと決まっている）
● # ovs-vsctl add-br br-int
● 外部ネットワーク用
● # ovs-vsctl add-br br-ex
# ovs-vsctl add-port br-ex <nic>
● 内部ネットワーク用
● # ovs-vsctl add-br br-priv
● # ovs-vsctl add-port br-priv <nic>

40. ネットワークの設定
● nicは空で立ち上げて、ブ
リッジに設定もっていく
だけです。
● ただbrを作った時点で
ネットが切れたりする
● なんらかの操作手段は残
しておいた方が吉
●
● ルータ作成
● auto br-priv
● iface br-priv inet static
● address 192.168.22.23
● netmask 255.255.255.0
● network 192.168.22.0
● broadcast 192.168.22.255
● bridge_ports eth2
●
● auto eth2
● iface eth2 inet manual

41. ネットワークを作る
●
● 外部ネットワーク&サブネット
● # neutron net-create ext_net --provider:network_type flat
--provider:physical_network external –router:external=True
● # neutron subnet-create ext_net --allocation-pool
start=10.0.0.100,end=10.0.0.120 --gateway 10.0.0.1 --dns-nameserver
10.0.0.1 10.0.0.0/24 --disable-dhcp
● 内部ネットワーク$サブネット
● # neutron net-create priv_net
# neutron subnet-create --gateway 192.168.100.1 --dns-nameserver 10.0.0.1
priv_net 192.168.100.0/24
● 内部ネットワーク用
● # neutron net-list
| id | name | subnets |
● | 7867e4fa-8c32-4d86 | ext_net | 7bb07aaa-af2d-400 10.0.0.0/24 |
● | 966dd36e-7d12-40e2 | priv_net | 7f64bfca-e26b-465 192.168.100.0/24 |
●

42. ルータ作成
●
● ルータ作成
● # neutron router-create router-hoge
● 外部ネットはgatewayとして繋ぐ
● # neutron router-gateway-set <router-id> <外部net-id>
● 内部ネットはinterfaceとして繋ぐ
● # neutron router-interface-add <router-id> <内部subnet-id>

43. VM作成
●
● VM作成
● # nova boot --flavor 1 --image <image-id> --security_group default --nic net-id=<内部net-id>
<VM-name>
●
● +-----+------+--------+------------+-------------+------------------------+
● | ID | Name | Status | Task State | Power State | Networks |
● +-----+------+--------+------------+-------------+------------------------+
● | <ID>| test | ACTIVE | - | Running | priv_net=192.168.100.2 |
● +-----+------+--------+------------+-------------+------------------------+
●

44. IP
●
● 外部ネットワークのIPを一個取得
● # neutron floatingip-create <外部net-id>
● 取得したIPを取り付け
● # neutron floatingip-associate <外部ネットIPのID> <VMについて
るIPのport>
●
● ポートの設定をしないとpingが通らないので注意
● nova secgroup-add-rule default icmp -1 -1 0.0.0.0/0
●
●
●

45. 完成
●
● VM作成
● # nova boot --flavor 1 --image <image-id> --security_group default --nic net-id=<内部net-id> <VM-
name>
●
● +-----+------+--------+-+-------------+------------------------------------+
● | ID | Name | Status | | Power State | Networks |
● +-----+------+--------+-+-------------+------------------------------------+
● | <ID>| test | ACTIVE |-| Running | priv_net=192.168.100.2, 10.0.0.101 |
● +-----+------+--------+-+-------------+------------------------------------+
●

46. バグかも？
● まだ検証中のネタにはなりますが、neutronで一つ。
● 現象：サービスを再起動するとVMにつながらなくなる
● 数分～数時間待つと復帰する
● コミュニティの方でも再現方法等ちょっと錯綜気味かもし
れない
●
● openvswitch-agent.log内で
● ERROR neutron.agent.linux.ovsdb_monitor