Immutable Infrastructureを利用したソフトウェア工学教育のためのサーバ運用手法の検討

分野・地域を越えた実践的情報教育協働ネットワーク

Immutable Infrastructureを利用した
ソフトウェア工学教育のためのサーバ
運用手法の検討
○井垣宏1，福安直樹2，楠本真二1
1 大阪大学大学院情報科学研究科
2 和歌山大学システム工学部

Cloud Specialist Program Initiative for Reality‐based Advanced Learning


enPiT(Education Network for Practical
Information Technologies)


© Cloud Spiral partners 2013

2


こんなことを教えています
Scrum＋チケット駆動開発
Scrum
3つのロール
4つのイベント
3つのプロダクト
プロジェクトの透明化

クラウド環境を利用した
開発手法

QADにもとづく
プロジェクト管理

DaaS(Desk top as a Service)を利
用した開発

Quality(プロダクト・プロセス品質)

チケットシステムと版管理システム
(svn)を利用したタスク管理

Assignment(タスク割り当て，
知識伝達)

CIツール(jenkins)を利用した
継続的統合とテスト可視化

Delivery(納期計画)

プロジェクトの検査

プロジェクトの適応

MVCモデルの理解と各層
の実装

チケット駆動開発
チケットシステム
(Trac)
タスクの記録，抽出

ファシリテーションスキル
プレゼンテーション

MongoDB
Java，JavaScriptによる
Webアプリケーション実装
アプリケーションサーバ
(Tomcat)

Webアプリケーションフレームワーク(DWR)の利用

概要設計書(ドメインモデル，クラス図，シーケン
ス図，ロバストネス図)の書き方，読み方

詳細設計書 (ロバストネス図，クラス図，シーケ
ンス図，javadoc，DB仕様書，
テスト仕様等)の読み方

テスト技法

チームビルディング
会議の進め方，議
事録のまとめ方

単体テスト，カバレッジ
結合テスト


Webアプリケーション開発

3 3



クラウド基礎PBL（夏合宿）の風景



4


教員による各種サーバ環境の構築・運用
の流れ
fluentd+mongo
（全体向け）

5月

fluentd+mongo
（チーム向け）

6月

再チーム分け（新しくチーム
サーバ立ち上げ直し）

7月

8月

jenkins
新チームサーバで
tomcat+ （チーム向け） project開始
mongo
trac+
svn+
mysql+ svn （チーム向け）
httpd
(チーム向け)
(全体向け) httpd
（チーム向け)

チーム
分け



5


サーバ環境構築・運用に対する我々の要求
R1.環境設定の容易化
 サーバ環境設定の試行（サーバ起動‐>設定試行‐>OK/NG判断‐>
やり直し）や段階的な設定変更を時間をかけずに実施したい
 1つのサーバへの設定を他サーバへも適用したい

R2.設定内容の共有
 サーバ環境設定内容を文書化し，共有したい

R3.バックアップ
 Disaster Recoveryのためのバックアップ
 同一のデータと設定をもつ別サーバを迅速に立ち上げられる
 終了後の評価や研究のためのバックアップ
 リソースをできる限り消費せずに，データやログを残しておきたい


6


IaaSの導入
 R1.環境設定の容易化(△)

IaaSだけで解決できる
ことは意外と少ない

 テンプレート機能を用いることで，サーバ設定を途中からやり直せる
 VM破棄，VM作成，VM起動といったVM操作に時間が掛かる
 1つのサーバ設定内容を他のサーバに展開することができる
 サーバ間で異なる部分は個別に設定しなければならない

 R2.設定内容の共有（△）
 サーバ環境設定の文書化の役には立たない

 R3.バックアップ（△）
 DRについてはVMの定期バックアップで対応可能
 IaaS基盤全体が不具合の場合は対応不可(他基盤への環境移行は容易ではな
い)
 授業終了後のリソースを消費しないバックアップには対応不可
 一部のIaaSでVMごとダウンロードできるものはあるが，容易ではない


7


サーバ構成管理ツール
サーバ環境設定の自動化を支援するツール
 Chef, puppet, fabric, ansible, etc.

ユーザはDSLやシェルスクリプト拡張等の形式で
サーバの構成を定義する
 冪等性に対応したツールが多い

tomcat
httpd

sshで設定

svn

tomcat
tomcat
httpd
svn

httpd
svn

sshで微調整
tomcat
httpd
svn

VMごと
copy

tomcat
httpd

構成定義
ファイル作成

tomcat

変数等を用いてサーバごとに
異なる設定を記述することも可能

svn


httpd

ツールが
設定を展開


svn

tomcat
httpd
svn 8


サーバ構成管理における冪等性
環境設定をいつ，何回実行しても結果が同
じになる性質
$ echo “hoge = true” >> /path/config

冪等性が考慮されていれば，環境設定を何回実行し
てもエラーにならない
 整備された構成定義ファイルがあれば，誰でもサーバを定
義された状態にできる

すべての環境依存が解決できるわけではない
 いつでも常に同じサーバ環境が再現できるわけではない

あらゆる状況に対応した冪等な定義ファイルの作成
は困難である


9


サーバ構成管理ツール(fabric)の導入
R1,R2についてはツールに習熟
R1.環境設定の容易化(△)
すれば改善が見込めるが・・
 サーバごとの差を考慮した設定の展開が可能となった
 設定試行に要する時間は変わらず

R2.設定内容の共有(△)
 ツールを用いて定義した部分は設定内容として残る
 構成定義の継続的な整備(環境変化への追従等)が難しい

R3.バックアップ（△）
 構成管理ツールはバックアップに対しては余り役に立たない
 サーバ設定をバックアップサーバに展開することはできる



10


残課題
R1.環境設定の容易化
設定の試行を時間をかけずに実施したい

R2.設定内容の共有
常にサーバの現状態と設定文書の内容が等価で
あってほしい
設定文書の作成が容易であるとなお良い

R3.バックアップ
IaaS基盤をまたがったバックアップ
リソースをできる限り消費しないバックアップ


11


Linux Container*とImmutable Infrastructure†
Linux Container(LXC)とは
 ホスト上にホストのプロセスやリソースを利用可能な隔離領域
(Container)を構成する仮想化技術
 完全仮想化に求められるような命令解釈機構やエミュレー
ションを必要としない
 超軽量．ホスト上でContainerを起動するのに数秒しかかから
ない
 カーネルレベルでの対応が進んでいる
 jail, openvz等と類似

Immutable Infrastructureとは
 Immutable(不変な）サーバ
 サーバ環境を一度定義したら変更しないというポリシーにもと
づくサーバ管理手法
* Helsley, M.: LXC: Linux container tools, IBM devloperWorks Technical Library. (2009).
† Chad Fowler:Trash Your Servers and Burn Your Code: Immutable Infrastructure and Disposable Components,
http://chadfowler.com/blog/2013/06/23/immutable‐deployments/ (2013).

12


Immutable Infrastructureにもとづく
サーバ管理
Container

tomcat

tomcat
tomcat
tomcat
httpd
httpd
svn

廃棄

作成

ツールが
設定を展開
tomcat
httpd
svn

構成定義
ファイル編集

冪等性を十分に考慮した
定義ファイルを常に構築
する必要がある
特定の環境でしか動作し
ない定義ファイルができる
ことは良くある

tomcat
tomcat
httpd
tomcat
httpd
svn

構成定義
ファイル編集

Container
作成
Container
作成

tomcat
httpd

廃棄

tomcat
httpd
svn

 設定変更＝Containerの新規
作成
 冪等性を考慮する必要がない
 LXCが動く環境であればどこに
でも移行可能
 記録されたデータ類をどうする
かを考慮する必要がある

13


LXCとImmutable Infrastructureの導入
R1.環境設定の容易化（○）
設定の試行に要する時間が大幅に改善される

R2.設定内容の共有（○）
環境設定の際に定義ファイルがまず作成される
ためサーバ環境と構成定義ファイルは常に等価

R3.バックアップ（○）
LXCさえ動作すればどこにでも環境を移行できる


14


CloudSpiralサーバアーキテクチャ

原則としてContainerはすべてImmutable

 設定変更が求められる場合は常に作りなおす

Containerには同時に利用するサービスのみが導入
される
Containerに保存されるデータをどう扱うか考慮しな
ければならない
 3種類のアーキテクチャについて考察する

VM

Cent, ubuntu, etc..
(Team Server)

Data

Cent, ubuntu, etc..
(Team Server)

IaaS

trac
mysql

svn

httpd

mongo

trac
mysql

svn

httpd

mongo

trac
mysql

Pattern3

Pattern2

svn

Linux
httpd
Container

mongo

Pattern1

Data

Cent, ubuntu, etc..
(Team Server)

Xen, KVM, etc.


15


Pattern1:データをホストが管理
全てのContainerはデータを一切持たない
ログ出力等もホストに保存する

Containerは完全にImmutable
いつでも差し替えられる

バックアップ時の可搬性が少し低い

VM

svn

trac
Linux
httpd
mysql
Container

mongo

ホストのDataも同時に
正しく移行しなければ
ならない

Pattern1

Cent, ubuntu, etc..
Data
(Team Server)

16


Pattern2:データをContainer自身で管理
Container内のサービスに登録されたデータ
は全てContainer内に保存される
Containerはデータに関してはImmutableで
はない
Container差し替え時にはデータの複製が必要
Containerごと移行する
だけで良い

httpd

trac
mysql

Cent, ubuntu, etc..
(Team Server)

svn

可搬性が非常に高い

mongo

Pattern2

17


Pattern3:データをDataContainerが管理
全てのContainerはデータを専用の
DataContainerに保存する
Containerは完全にImmutable
いつでも差し替えられる

可搬性はPattern1よりは高くPattern2よりは低い


svn

mongo

DataContainerも常に
Pattern3
一緒に移動しなければ
trac
httpd
ならない
mysql

Cent, ubuntu, etc..
(Team Server)

Data

18


現状の構築・運用ポリシー(1/2)
Pattern2をベースにする

mongo

カリキュラムの進行にあわせて，Container単位で
サービスを追加する
Container作成後の授業に必要な
Pattern2
データの追加・変更は構成管理
trac
httpd
mysql
ツールを用いて行う
 Containerに教員は原則
ログインしない

Cent, ubuntu, etc..
(Team Server)

svn

 可搬性を重視したのと，類似環境間のデータ移行は容
易であると考えたため

19


現状の構築・運用ポリシー(2/2)


Cent, ubuntu, etc..
(Team Server)

svn

 Containerのバージョン管理（Disaster
Recovery対策）
Pattern2
 Containerのexportにより教員の
trac
httpd
ローカル環境でContainerを
mysql
稼働させられる
 ‐>サーバリソースを消費しない

mongo

Containerの設定ファイル及び構成管理ツールの設
定ファイルによって設定を共有する
環境変更時には新Container作成，データを旧環境
から移行，Container差し替え，旧コンテナ廃棄の手
順で実施する
バックアップもContainerを利用して実施する

20


試行中の環境
LXC
Docker (https://www.docker.io/ )

IaaS
CloudStack
edubaseCloud
AWS

Docker httpd
VM
IaaS

trac
mysql

svn

fabric

mongo

構成管理ツール

CentOS6.5 or CoreOS
CloudStack, edubase Cloud,
AWSのIaaSを利用

21


試行中の構築・運用の流れ
授業の進捗にあわせてコンテナを作成し，入れ替える
 80/8080を必要とするサービスにはhttpd経由でアクセスする

再チーム分け
（データは新規）

mongo
httpd (ログ取
得用）

httpd
svn tomcat
jenkins
trac mongo
mysql

バックアップに
移行

httpd
mongo
trac
httpd (ログ取
mysql
得用）
廃棄

http
svn tomcat
jenkins
trac mongo
mysql



22


設定ファイル例(Docker)
FROM centos:6.4
MAINTAINER igaki version:0.1
RUN yum update ‐y
RUN cp ‐p /usr/share/zoneinfo/Japan /etc/localtime
# Install and configure ntpd
RUN yum ‐y install ntp
RUN sed ‐i ‐e "s/server 0.centos.pool.ntp.org/server ‐4 ntp.nict.jp/g" /etc/ntp.conf;
sed ‐i ‐e "s/server 1.centos.pool.ntp.org/server ‐4 ntp1.jst.mfeed.ad.jp/g" /etc/ntp.conf;
sed ‐i ‐e "s/server 2.centos.pool.ntp.org/server ‐4 ntp2.jst.mfeed.ad.jp¥nserver ‐4
ntp3.jst.mfeed.ad.jp/g" /etc/ntp.conf
#wget and localinstall jre7 and add tomcat user
RUN mkdir /home/rep;cd /home/rep/;wget ‐O jre‐7u51‐linux‐x64.rpm ‐‐no‐cookies ‐‐header
"Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com" "http://download.oracle.com/otn‐
pub/java/jdk/7u51‐b13/jre‐7u51‐linux‐x64.rpm" ‐‐no‐check‐certificate;yum localinstall ‐y jre‐
7u51‐linux‐x64.rpm;useradd ‐s /sbin/nologin tomcat
EXPOSE 8080


23


おわりに
高度なソフトウェア工学教育に求められるサー
バ構築・運用に関する要求の整理した
IaaS，構成管理ツール，LXC等の組み合わせに
よるサーバアーキテクチャ及び運用ポリシーを提
案した
実環境で実施し，ポリシーやアーキテクチャに改
善の余地が無いか検討する
運用・構築に必要なスキルセットを整理し，管理
者向け教育カリキュラムを構築する


24


今後の課題
運用に関するノウハウは重要だと思われるが
論文化事例が少ない
どうすれば研究論文として評価されるのか？



25


おまけ



26


自己紹介
名前：井垣宏（IGAKI Hiroshi)
 Twitter: @hirocell

博士（工学）
 奈良先端科学技術大学院大学で取得

現所属：大阪大学大学院情報科学研究科
役職：特任准教授
 「ソフトウェアイノベーション先導のための研究教育プログラム
の開発」プロジェクト

専門分野
 クラウド環境を用いたソフトウェア工学教育
 ユーザインタフェース
 クラウドコンピューティング，SOA

27


最近の論文
 Hiroshi Igaki, Naoki Fukuyasu, Sachio Saiki, Shinsuke
Matsumoto, and Shinji Kusumoto, "Quantitative Project
Assessment for Teaching Scrum Using Ticket Driven
Development," In Proceedings of the 2014 International
Conference on Software Engineering(ICSE2014), 採録済.
 高先修平, 井垣宏, 肥後芳樹, 楠本真二 , “タスクボードとオンラ
インストレージを用いたソフトウェア開発PBLのためのタスク記録支
援環境の構築,” 情報処理学会論文誌, volume 55, number 1,
pages 199‐209, 2014年1月(情報処理学会特選論文)



28


カリキュラムの基本方針
クラウド開発基礎
時期：4~7月
コマ：10日×4コマ

クラウド基礎PBL
時期：8月

クラウド開発応用
時期：9月

クラウド発展PBL
(対面講義と分散開発)
時期：10~12月
コマ：4日×4コマ(+分散)

クラウドを利用したアジャイル開発(Scrum)の学習
－チーム開発（ファシリテーション）
－プロセス・プロダクト品質を意識したScrum開発
－IaaS，SaaS，DaaSの利用
－MongoDB, Java, JavaScriptを用いたWebアプリ開発
－テスト・レビュー技法，CI技術



29
29

Immutable Infrastructureを利用したソフトウェア工学教育のためのサーバ運用手法の検討

Recommended

Recommended

More Related Content

Similar to Immutable Infrastructureを利用したソフトウェア工学教育のためのサーバ運用手法の検討

Similar to Immutable Infrastructureを利用したソフトウェア工学教育のためのサーバ運用手法の検討 (20)

Recently uploaded

Recently uploaded (10)

Immutable Infrastructureを利用したソフトウェア工学教育のためのサーバ運用手法の検討