オープンクラウド
 実証実験タスクフォース
CloudStack  4.0
インストール        (ver0.5)



    ⼀一般社団法⼈人クラウド利利⽤用促進機構
                   荒井  康宏
目次:

・ファシリティ・機材

・NW・ホスト構成図

・ソフトウェア

・ManagementServerインストール

・DBサーバ設定

・NFSサーバ設定

・ManagementServer設定

・GUIアクセス
ファシリティ・機材
    ラック: IDCフロンティア様よりご提供

    PCサーバ、ネットワーク機器を各社より機材ご提供	
□  IDCフロンティア様
ラック  x  1本  1500KV

                                    □  CUPA  L3,  L2  Switch
                                    Alaxala  2430S-‐‑‒24T         □  NetGear/IBS様
                                    NetGear  16port  Switch       NetGear  RNDP6610(NAS)
                                                                  NFS/iSCSI  12T(物理理)




                          ファシリティ、機材は
                          全て借用!                                □  Intel様/IDCF様    Intel製サーバ  x  3  –  
                                                               ノード⽤用
                          ※ケーブルは自腹                             SandyBridge-‐‑‒EP  8  cores  3.1GHz
                                                               Memory:  32G


       □  モーフ様  Rackable製サーバ  x  3台  –  ノード⽤用
       RackableA20X
       CPU:XeonE5320  1.86GHz  (4corex2)
       MEM:16GB                                                □  ATWORKS様  ⾃自社サーバ  x  3台  –  管理理
                                                               系サーバ⽤用
                                                               Intel  Core  i5-‐‑‒2520M  2.5GH(2コア)
                                                               8GBメモリ
NW・ホスト構成図
    ネットワーク設計は
    CloudStackの重要ポイント
    管理、パブリック、ゲスト
    の役割がポイントです。




                        4
ソフトウェア

□  CloudStack
Apache  CloudStack  4.0
□  ホスト
CentOS6.3(64bit版)
インストーラーでの選択
⾔言語:  Japanese
タイムゾーン:  Asia/Tokyo  ※システムクロックでUTCを利利⽤用
パッケージ:  Virtual  Host
その他:  デフォルト                 インストール後に、
                            ネットワーク設定、
                            SELinux無効化
                            NTPの設定を行います!

                                           5
ソフトウェア


Apache CloudStack 4.0情報	

リリース情報	
blog:	
https://blogs.apache.org/cloudstack/entry/apache_cloudstack_4_0_0	

ダウンロードURL	
http://incubator.apache.org/cloudstack/downloads.html	

インストールガイド	
HTML版	
http://incubator.apache.org/cloudstack/docs/en-US/Apache_CloudStack/4.0.0-
incubating/html/Installation_Guide/index.html
ManagmenetServerインストール


4.4. Configure package repository	
http://incubator.apache.org/cloudstack/docs/en-US/Apache_CloudStack/4.0.0-
incubating/html/Installation_Guide/configure-package-repository.html	

CloudStack用リポジトリ追加	
[root@manager01 ~]# vi /etc/yum.repos.d/CloudStack.repo	
[cloudstack]	
name=cloudstack	
baseurl=http://cloudstack.apt-get.eu/rhel/4.0/	
enabled=1	
gpgcheck=1
ManagmenetServerインストール
 4.5. Management Server Installation	
 http://incubator.apache.org/cloudstack/docs/en-US/Apache_CloudStack/4.0.0-incubating/html/
 Installation_Guide/management-server-install-flow.html	

 [root@manager01 etc]# hostname --fqdn	
                                                        KVM環境ではvhd-utilは不要
 manager01.cs01.ocdet.org	
                                                        なので飛ばす。

 [root@manager01 ~]# yum install --nogpgcheck cloud-client	
 (ざっくり省略)	
 cloud-aws-api.x86_64 0:4.0.0-0.140.el6.4.0                    	
 cloud-client-ui.x86_64 0:4.0.0-0.140.el6.4.0                	
 cloud-core.x86_64 0:4.0.0-0.140.el6.4.0      サインされてないので、「-- 	
 cloud-deps.x86_64 0:4.0.0-0.140.el6.4.0      nogpgcheck」オプションをつけ
                                                             	
 cloud-python.x86_64 0:4.0.0-0.140.el6.4.0 ないと入らない。 	
 cloud-scripts.x86_64 0:4.0.0-0.140.el6.4.0                  	
 cloud-server.x86_64 0:4.0.0-0.140.el6.4.0                    	
 cloud-setup.x86_64 0:4.0.0-0.140.el6.4.0                     	
 cloud-utils.x86_64 0:4.0.0-0.140.el6.4.0                    	
 	
 Complete!
DBサーバ設定
・ 4.5.4.2. Install the Database on a Separate Node	
	
[root@db01 ~]# rpm -qa |grep mysql	
mysql-server-5.1.61-4.el6.x86_64	
mysql-libs-5.1.61-4.el6.x86_64	
mysql-5.1.61-4.el6.x86_64	
                          mysql-serverをインストール
[root@db01 ~]# vi /etc/my.cnf	
                   しておくこと。
[mysqld]セクションに次の行を挿入します	
[mysqld]	
datadir=/var/lib/mysql	
socket=/var/lib/mysql/mysql.sock	
user=mysql	
# Disabling symbolic-links is recommended to prevent assorted security risks	
symbolic-links=0	
innodb_rollback_on_timeout=1 ☆追加	
innodb_lock_wait_timeout=600 ☆追加	
max_connections=700 ☆追加 管理サーバ2台の場合は 700に	
log-bin=mysql-bin ☆追加	
binlog-format = 'ROW' ☆追加	
bind-address = 0.0.0.0 ☆追加	
                                                1管理サーバあたり  350を目安
[root@db01 ~]# service mysqld restart	
         に
mysqld を停止中:                                    [ OK ]	
mysqld を起動中:                                    [ OK ]
DBサーバ設定
[root@db01 ~]# mysql_secure_installation	
NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MySQL	
      SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY!	
	
Change the root password? [Y/n] Y	
Remove anonymous users? [Y/n] Y	
Disallow root login remotely? [Y/n] n	
Remove test database and access to it? [Y/n] Y	
Reload privilege tables now? [Y/n] Y	
 ... Success!	

Cleaning up...	
                                     「Disallow  root  login  remotely」
                                                     以外は全て「Y」で設定。
All done! If you've completed all of the above steps, your MySQL	
• installation should now be secure.	

Thanks for using MySQL!
DB設定    ※ManagmenetServerから実施

 [root@manager01 ~]# yum install mysql	
                                            切り分けのためmysql-client
 (省略)	
                                     をインストールしておくと
 Complete!	
                                便利です。
 	
 データベースをセットアップします。	
 # cloud-setup-databases cloud:DBパスワード@DBサーバのIPアドレス --deploy-as=root:DBサーバの
 パスワード	
 ※必要に応じて、-e <encryption_type> -m <management_server_key> -k <database_key>を付けて	
 セキュリティ設定を行いましょう。	
           ManagmenetServerインストール

 (省略)	
 Applying /usr/share/cloud/setup/bridge/db/cloudbridge_offering.sql           [ OK ]	
 Applying /usr/share/cloud/setup/bridge/db/cloudbridge_offering_alter.sql      [ OK ]	
 Processing encryption ...                                     [ OK ]	
 Finalizing setup ...                                      [ OK ]	

 CloudStack has successfully initialized database, you can check your database configuration in /etc/
 cloud/management/db.properties
NFS設定   今回はNAS(NetGear  
        ReadyNAS)を利用
        意外と簡単でした。。
ManagmenetServer設定
 4.5.6. Prepare and Start Additional Management Servers	
 	
 [root@manager01 ~]# cloud-setup-management	
 Starting to configure CloudStack Management Server:	
 Configure sudoers ...      [OK]	
                                                            KVM環境ではvhd-utilは不要
 Configure Firewall ...    [OK]	
                                                            なので飛ばす。
 Configure CloudStack Management Server ...[OK]	
 CloudStack Management Server setup is Done!	

 root@manager01 network-scripts]# mkdir -p /mnt/secondary	
 [root@manager01 network-scripts]# mount -t nfs 172.16.10.19:/export/secondary /mnt/secondary	
 [root@manager01 network-scripts]# cd /mnt/secondary/	
 [root@manager01 secondary]# cat > hoge	
 test file	
 [root@manager01 secondary]# ls -al hoge 	
 • -rw-r--r--. 1 root root 10 11月 4 18:31 2012 hoge	
 [root@manager01 secondary]# rm hoge	
                                             root,  rootで作成されていること
                                             を確認する
ManagmenetServer設定
 システムVM用のテンプレートの配置	
 [root@manager01 secondary]# cd	
 [root@manager01 ~]# wget
 http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2	
 (省略)	
 	
 [root@manager01 ~]# /usr/lib64/cloud/common/scripts/storage/secondary/cloud-install-sys-tmplt -
 m /mnt/secondary -f acton-systemvm-02062012.qcow2.bz2 -h kvm -F	
 • Uncompressing to /usr/lib64/cloud/common/scripts/storage/secondary/38d0870e-d5f2-43a5-
 a2b7-276c41796a5f.qcow2.tmp (type bz2)...could take a long time	

 Moving to /mnt/secondary/template/tmpl/1/3///38d0870e-d5f2-43a5-
 a2b7-276c41796a5f.qcow2...could take a while	
            wgetで一旦落としておいて、
                                                           -f  オプションで指定した方
 • Successfully installed system VM template acton-systemvm-02062012.qcow2.bz2 to /mnt/
 secondary/template/tmpl/1/3/	
                            がやり直し時には便利。

 [root@manager01 ~]# umount /mnt/secondary/	


                                        システムVMと仮想ルータ用のテ
                                        ンプレートがSecondaryStorageに
                                        格納されます。
GUIアクセス
          http://IPアドレス:8080/client  でア
          クセス可能
          外部に公開する場合は、リバース
          Proxyを中間において、HTTPS設定を
          しておくことがおすすめ。
GUIアクセス
          ゾーン設定は後ほどのお楽しみに。

          ここからが本番!?
番外編:  オープンクラウド実証実験タスクフォース(OCDET)



                                                                                 http://www.ocdet.org/

                                                                                  詳細はWebへ!




Copyright  (C)  Cloud  Utilization  Promotion  Agency.  All  Rights  Reserved.                           17
OCDET  OpenIaaS研究会
OpenIaaS研究会で構築する検証環境(全体図)
OpenStack,  CloudStackを2拠点で実装済み



               CloudStack4.0環境




• DC1(IDCフロンティア)	
                                                      • 北大情報基盤センター	



          OpenStack              OpenStack        Swift環境
          Essex環境                Folsom環境    (OpenStorage研究会)




• DC2(IIJ)	
                                                            • DC3	
                                                                ※DC3はPhase3で実装予定
                                                                →  検証環境不不⾜足により時期前倒しを検討中

                                                                                      18
OSSクラウドコミュニティへの
                          ご参加をお待ちしております!




Copyright  (C)  Cloud  Utilization  Promotion  Agency.  All  Rights  Reserved.   19

Apache CloudStack 4.0 インストール(ver0.5)

  • 1.
    オープンクラウド 実証実験タスクフォース CloudStack  4.0 インストール (ver0.5) ⼀一般社団法⼈人クラウド利利⽤用促進機構 荒井  康宏
  • 2.
  • 3.
    ファシリティ・機材 ラック: IDCフロンティア様よりご提供
 PCサーバ、ネットワーク機器を各社より機材ご提供 □  IDCフロンティア様 ラック  x  1本  1500KV □  CUPA  L3,  L2  Switch Alaxala  2430S-‐‑‒24T □  NetGear/IBS様 NetGear  16port  Switch NetGear  RNDP6610(NAS) NFS/iSCSI  12T(物理理) ファシリティ、機材は 全て借用! □  Intel様/IDCF様    Intel製サーバ  x  3  –   ノード⽤用 ※ケーブルは自腹 SandyBridge-‐‑‒EP  8  cores  3.1GHz Memory:  32G □  モーフ様  Rackable製サーバ  x  3台  –  ノード⽤用 RackableA20X CPU:XeonE5320  1.86GHz  (4corex2) MEM:16GB □  ATWORKS様  ⾃自社サーバ  x  3台  –  管理理 系サーバ⽤用 Intel  Core  i5-‐‑‒2520M  2.5GH(2コア) 8GBメモリ
  • 4.
    NW・ホスト構成図 ネットワーク設計は CloudStackの重要ポイント 管理、パブリック、ゲスト の役割がポイントです。 4
  • 5.
    ソフトウェア □  CloudStack Apache  CloudStack 4.0 □  ホスト CentOS6.3(64bit版) インストーラーでの選択 ⾔言語:  Japanese タイムゾーン:  Asia/Tokyo  ※システムクロックでUTCを利利⽤用 パッケージ:  Virtual  Host その他:  デフォルト インストール後に、 ネットワーク設定、 SELinux無効化 NTPの設定を行います! 5
  • 6.
  • 7.
    ManagmenetServerインストール 4.4. Configure packagerepository http://incubator.apache.org/cloudstack/docs/en-US/Apache_CloudStack/4.0.0- incubating/html/Installation_Guide/configure-package-repository.html CloudStack用リポジトリ追加 [root@manager01 ~]# vi /etc/yum.repos.d/CloudStack.repo [cloudstack] name=cloudstack baseurl=http://cloudstack.apt-get.eu/rhel/4.0/ enabled=1 gpgcheck=1
  • 8.
    ManagmenetServerインストール 4.5. ManagementServer Installation http://incubator.apache.org/cloudstack/docs/en-US/Apache_CloudStack/4.0.0-incubating/html/ Installation_Guide/management-server-install-flow.html [root@manager01 etc]# hostname --fqdn KVM環境ではvhd-utilは不要 manager01.cs01.ocdet.org なので飛ばす。 [root@manager01 ~]# yum install --nogpgcheck cloud-client (ざっくり省略) cloud-aws-api.x86_64 0:4.0.0-0.140.el6.4.0 cloud-client-ui.x86_64 0:4.0.0-0.140.el6.4.0 cloud-core.x86_64 0:4.0.0-0.140.el6.4.0 サインされてないので、「-- cloud-deps.x86_64 0:4.0.0-0.140.el6.4.0 nogpgcheck」オプションをつけ cloud-python.x86_64 0:4.0.0-0.140.el6.4.0 ないと入らない。 cloud-scripts.x86_64 0:4.0.0-0.140.el6.4.0 cloud-server.x86_64 0:4.0.0-0.140.el6.4.0 cloud-setup.x86_64 0:4.0.0-0.140.el6.4.0 cloud-utils.x86_64 0:4.0.0-0.140.el6.4.0 Complete!
  • 9.
    DBサーバ設定 ・ 4.5.4.2. Installthe Database on a Separate Node [root@db01 ~]# rpm -qa |grep mysql mysql-server-5.1.61-4.el6.x86_64 mysql-libs-5.1.61-4.el6.x86_64 mysql-5.1.61-4.el6.x86_64 mysql-serverをインストール [root@db01 ~]# vi /etc/my.cnf しておくこと。 [mysqld]セクションに次の行を挿入します [mysqld] datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock user=mysql # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 innodb_rollback_on_timeout=1 ☆追加 innodb_lock_wait_timeout=600 ☆追加 max_connections=700 ☆追加 管理サーバ2台の場合は 700に log-bin=mysql-bin ☆追加 binlog-format = 'ROW' ☆追加 bind-address = 0.0.0.0 ☆追加 1管理サーバあたり  350を目安 [root@db01 ~]# service mysqld restart に mysqld を停止中: [ OK ] mysqld を起動中: [ OK ]
  • 10.
    DBサーバ設定 [root@db01 ~]# mysql_secure_installation NOTE:RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MySQL SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY! Change the root password? [Y/n] Y Remove anonymous users? [Y/n] Y Disallow root login remotely? [Y/n] n Remove test database and access to it? [Y/n] Y Reload privilege tables now? [Y/n] Y ... Success! Cleaning up... 「Disallow  root  login  remotely」 以外は全て「Y」で設定。 All done! If you've completed all of the above steps, your MySQL • installation should now be secure. Thanks for using MySQL!
  • 11.
    DB設定    ※ManagmenetServerから実施 [root@manager01 ~]# yum install mysql 切り分けのためmysql-client (省略) をインストールしておくと Complete! 便利です。 データベースをセットアップします。 # cloud-setup-databases cloud:DBパスワード@DBサーバのIPアドレス --deploy-as=root:DBサーバの パスワード ※必要に応じて、-e <encryption_type> -m <management_server_key> -k <database_key>を付けて セキュリティ設定を行いましょう。 ManagmenetServerインストール (省略) Applying /usr/share/cloud/setup/bridge/db/cloudbridge_offering.sql [ OK ] Applying /usr/share/cloud/setup/bridge/db/cloudbridge_offering_alter.sql [ OK ] Processing encryption ... [ OK ] Finalizing setup ... [ OK ] CloudStack has successfully initialized database, you can check your database configuration in /etc/ cloud/management/db.properties
  • 12.
    NFS設定 今回はNAS(NetGear   ReadyNAS)を利用 意外と簡単でした。。
  • 13.
    ManagmenetServer設定 4.5.6. Prepareand Start Additional Management Servers [root@manager01 ~]# cloud-setup-management Starting to configure CloudStack Management Server: Configure sudoers ... [OK] KVM環境ではvhd-utilは不要 Configure Firewall ... [OK] なので飛ばす。 Configure CloudStack Management Server ...[OK] CloudStack Management Server setup is Done! root@manager01 network-scripts]# mkdir -p /mnt/secondary [root@manager01 network-scripts]# mount -t nfs 172.16.10.19:/export/secondary /mnt/secondary [root@manager01 network-scripts]# cd /mnt/secondary/ [root@manager01 secondary]# cat > hoge test file [root@manager01 secondary]# ls -al hoge • -rw-r--r--. 1 root root 10 11月 4 18:31 2012 hoge [root@manager01 secondary]# rm hoge root,  rootで作成されていること を確認する
  • 14.
    ManagmenetServer設定 システムVM用のテンプレートの配置 [root@manager01secondary]# cd [root@manager01 ~]# wget http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2 (省略) [root@manager01 ~]# /usr/lib64/cloud/common/scripts/storage/secondary/cloud-install-sys-tmplt - m /mnt/secondary -f acton-systemvm-02062012.qcow2.bz2 -h kvm -F • Uncompressing to /usr/lib64/cloud/common/scripts/storage/secondary/38d0870e-d5f2-43a5- a2b7-276c41796a5f.qcow2.tmp (type bz2)...could take a long time Moving to /mnt/secondary/template/tmpl/1/3///38d0870e-d5f2-43a5- a2b7-276c41796a5f.qcow2...could take a while wgetで一旦落としておいて、 -f  オプションで指定した方 • Successfully installed system VM template acton-systemvm-02062012.qcow2.bz2 to /mnt/ secondary/template/tmpl/1/3/ がやり直し時には便利。 [root@manager01 ~]# umount /mnt/secondary/ システムVMと仮想ルータ用のテ ンプレートがSecondaryStorageに 格納されます。
  • 15.
    GUIアクセス http://IPアドレス:8080/client  でア クセス可能 外部に公開する場合は、リバース Proxyを中間において、HTTPS設定を しておくことがおすすめ。
  • 16.
    GUIアクセス ゾーン設定は後ほどのお楽しみに。 ここからが本番!?
  • 17.
    番外編:  オープンクラウド実証実験タスクフォース(OCDET) http://www.ocdet.org/ 詳細はWebへ! Copyright  (C)  Cloud  Utilization  Promotion  Agency.  All  Rights  Reserved. 17
  • 18.
    OCDET  OpenIaaS研究会 OpenIaaS研究会で構築する検証環境(全体図) OpenStack,  CloudStackを2拠点で実装済み CloudStack4.0環境 • DC1(IDCフロンティア) • 北大情報基盤センター OpenStack OpenStack Swift環境 Essex環境 Folsom環境 (OpenStorage研究会) • DC2(IIJ) • DC3 ※DC3はPhase3で実装予定 →  検証環境不不⾜足により時期前倒しを検討中 18
  • 19.
    OSSクラウドコミュニティへの ご参加をお待ちしております! Copyright  (C)  Cloud  Utilization  Promotion  Agency.  All  Rights  Reserved. 19