Developers Summit 2015 FUKUOKA B4セッション秋間様の資料です。

1. MAGELLANの開発における
Dockerの使い方
Developers Summit 2015 FUKUOKA
2015年09月14日

2. Introductions
福岡在住5年目
主にMAGELLANのAPIやインフラ関係の自動化、
リリースやCIの運用などを担当
2
株式会社グルーヴノーツ
秋間武志

3. Agenda
1. Magellanの紹介
2. Dockerの話
3. ミドルウェアを使うテスト
4. まとめ
3

4. Agenda
1. Magellanの紹介
2. Dockerの話
3. ミドルウェアを使うテスト
4. まとめ
4

5. MAGELLAN features
• MAGELLANはdockerのコンテナを簡単に動
かすことができるサービス
• スケールアウトが簡単
• 無停止でコンテナを切り替えることが可能
• HTTP(S)/MQTTをサポート
• 言語非依存
5

6. MAGELLAN overview
6

7. Development flow on MAGELLAN
1.アプリケーションを作成する
2.Dockerのイメージを作成する
3.DockerHubにイメージを登録する
4.MAGELLAN環境を準備する
5. MAGELLANにデプロイする
7

8. MAGELLAN introduction
8
https://www.magellanic-clouds.com/

9. MAGELLAN console
9

10. MAGELLAN Dev Center
10

11. Agenda
1. Magellanの紹介
2. Dockerの話
3. ミドルウェアを使うテスト
4. まとめ
11

12. Docker - Wikipedia
「LinuxカーネルにおけるLXCと呼ばれるLinuxコ
ンテナ技術とAufsという特殊なファイルシステム
を利用してコンテナ型の仮想化
を行う。VMware製品などの完全仮想化を行うハイ
パーバイザー型製品と比べて、ディスク使用量は少
なく、インスタンス作成やインスタンス起動は速く、
性能劣化がほとんどないという利点を持つ。」
12

13. Container Virtualization
ファイルシステムやポートなどのリソースをあ
たかも独立しているかのように扱えるように
Linuxプロセスを管理してする仕組み。
GuestOSを介さない分、ハイパーバイザー型
の仮想化に比べて軽量。
13

14. Container Virtualization
14
https://www.docker.com/whatisdocker

15. Container Virtualization
15
https://www.docker.com/whatisdocker
This is a
container
This is a
container
This is a
container

16. Container Isolation overview
16

17. Docker image
イメージはコンテナの
元となるディスクに
相当するもの。
イメージは差分を積み
重ねることが可能なの
で、ハイパーバイザー型
に比べて小さくできる。
17
https://blog.docker.com/2015/08/docker-demo-faq/

18. Docker architecture
registryによるイメージを共有できる仕組み
が用意されている。
自分でregistryを用意しなくても、docker社
のdocker hubで簡単に共有可能。
18

19. Docker architecture
19
https://docs.docker.com/introduction/understanding-docker/

20. Launch mysql server on docker
dockerのインストール後
$ docker run -d -p 55001:3306
-e MYSQL_ROOT_PASSWORD=password mysql
これだけでmysqlサーバが起動する
20

21. dockerのインストール後
$ docker run -d -p 55001:3306
-e MYSQL_ROOT_PASSWORD=password mysql
これだけでmysqlサーバが起動する
Launch mysql server on docker
21
dockerの外向けのポート コンテナ内部のポート
実行時に設定する環境変数 起動するコンテナの
イメージ名

22. Docker sequence
22
https://docs.docker.com/introduction/understanding-docker/
docker run を実行すると
1.ClientがDocker daemon に
起動を依頼
2.Docker daemon がRegistryからイメージを取得
3.Docker daemonがポートのマッピングや環境変数を
設定してコンテナを起動

23. Agenda
1. Magellanの紹介
2. Dockerの話
3. ミドルウェアを使うテスト
4. まとめ
23

24. Test with middleware for MAGELLAN
MAGELLANは大量のトランザクションを安定
的に捌く必要があるため、分散DBや分散キュー
などのミドルウェアを利用する。
MAGELLANの単体テストは、各開発者のPCと
CIサーバの環境で実行されるので、各環境でミ
ドルウェアをどう扱うのかが重要。
24

25. Test by using middleware normally
25

26. Test by using middleware mock
ミドルウェアを使用する場合、一般的にはモッ
クを使ってテストする。ミドルウェアを都度起
動する必要がないのでテストが軽い。
26

27. Test by using middleware mock
27

28. Uneasiness with using middleware mock
しかし、モックの振る舞いが実際のミドルウェ
アと完全に一致することを確認することは難
しい。
不安を取り除くためには、重要なところは
実際にミドルウェアに接続して動作確認を
したい。
28

29. How about using docker?
29

30. How can we use it actually?
テストの前提条件を えるための初期化が必要。
ポート番号や作業ディレクトリの管理も必要。
ミドルウェアへの接続の管理が必要。
30

31. How can we use it actually?
テストの前提条件を えるための初期化が必要。
コンテナを起動し直せばOK
ポート番号や作業ディレクトリの管理も必要。
--publishや--volumeで設定可能
ミドルウェアへの接続の管理が必要。
31

32. How can we use it actually?
テストの前提条件を えるための初期化が必要。
コンテナを起動し直せばOK
ポート番号や作業ディレクトリの管理も必要。
--publishや--volumeで設定可能
ミドルウェアへの接続の管理が必要。
なかったので作ってみた
32

33. mcrain
33

34. mcrain
groovenautsで開発した、テストに使用するコン
テナの起動・停止とサーバへの接続管理のための
ruby用のライブラリ。
mcrainを使うとテストコードでのコンテナの起動
や停止、そのコンテナへの接続情報の取得を簡単に
行うことができる。
例えば複数のmysqlサーバを同時に複数起動して、
それらに接続することも可能。
34

35. mcrain
35

36. Example to get connection configuration
Mcrain::Mysql.new.start do ¦server¦
args = server.client_init_args
#=> [{host: 192.168.99.100 , port: 55001, username: root }]
c = Mysql2::Client.new(*args)
・・・
end
36

37. Example to get client
Mcrain::Mysql.new.start do ¦server¦
c = server.client
c.query("CREATE DATABASE foo )
c.select_db("foo )
c.query("CREATE TABLE bar (…); )
end
37

38. Example to launch 2 mysql daemons
Mcrain::Mysql.new.start do ¦server1¦
Mcrain::Mysql.new.start do ¦server2¦
・・・
end
end
38

39. ハイパーバイザ型 < コンテナ型 <<< モック
39

40. It’s slow actually …
軽量と言っても「ハイパーバイザ型の仮想化
に比べて軽量」というだけで、同じOS上に
Linuxプロセスが動くので、モックなどに比べ
たら非常に遅い。
40
https://www.docker.com/whatisdocker

41. It’s slow actually …
41

42. 並列化
42

43. Parallelization
テストの実行に時間が掛かるなら、テストを
分割して同時に全部動かせば早くなる(はず)
43

44. parallel_tests
Speedup Test::Unit + RSpec + Cucumber
+ Spinach by running parallel on multiple
CPU cores.
ParallelTests splits tests into even groups
(by number of lines or runtime) and runs
each group in a single process with its
own database.
44
https://github.com/grosser/parallel_tests

45. Result
実行環境
iMac(27-inch, Late 2012)
2.9 GHz Intel Core i5 /
32 GB 1600 MHz DDR3
45
https://github.com/grosser/parallel_tests
並列数 平均所要時間(秒)
1 587.30
4 187.92
32% -> 約1/3

46. Why 1/3 ？
ボトルネックになっているのはディスクなので、プロ
セス数を増やしてもディスクの性能でテストにかかる
時間も決まる。
貧弱なデバイスを酷使するとたまにエラーも起きる。
Driver aufs failed to remove root filesystem …
device or resource busy
46

47. If we don’t use docker…
• 例えば並列化のために同時に複数の
mysqlサーバをどうやって起動する？
• 開発環境にどうやって構築する？
• 他のミドルウェアは？
47

48. Agenda
1. Magellanの紹介
2. Dockerの話
3. ミドルウェアを使うテスト
4. まとめ
48

49. Conclusion
ミドルウェアを使うテストの場合、
モックへの不安やメンテの辛さは
docker(と速いマシン)を使うと解消する
49

50. Hiring you
Groovenautsではプログラマ・インフラエン
ジニア・コンサルタントを募集しています。
詳しくはWebで。
50
http://www.groovenauts.jp/recruit/