OSC Tokyo fall 2015のLTで発表した資料です

1. Dockerで
分散処理をやってみた
TIS株式会社 安達貴志
*資料はslideshareに公開しています アカウント名: atk1234

2. 自己紹介
• 名前
安達貴志(あだち たかし)
(新弟子と呼ばれています)
• 所属 TIS株式会社
入社１年目
• 興味があるもの
Zabbix,Docker,Hadoop,Ansible,WebGL,
AngularJS,DQN,Machine-Lerning・・・ 節操がない
某キャラクタといい勝負

3. ライブラリ
サーバ
ホストOS
Dockerエンジン
ライブラリ
ア
プ
リ
ケ
ー
シ
ョ
ン
ア
プ
リ
ケ
ー
シ
ョ
ン
ア
プ
リ
ケ
ー
シ
ョ
ン
ア
プ
リ
ケ
ー
シ
ョ
ン
ア
プ
リ
ケ
ー
シ
ョ
ン
コンテナ毎にカーネルを持たないため
・早い
・軽い
・手軽
牛丼のような
特徴がある

4. 一方で、
たくさんのコンテナの
使い道に困る
ライブラリ
Dockerエンジン
ライブラリ
ア
プ
リ
ケ
ー
シ
ョ
ン
C
ア
プ
リ
ケ
ー
シ
ョ
ン
A
ア
プ
リ
ケ
ー
シ
ョ
ン
B
ア
プ
リ
ケ
ー
シ
ョ
ン
E
ア
プ
リ
ケ
ー
シ
ョ
ン
D
ア
プ
リ
ケ
ー
シ
ョ
ン
F
コンテナ間で
分散処理をしてみる

5. Hadoopで分散処理する
コ
ン
テ
ナ
C
コ
ン
テ
ナ
A
コ
ン
テ
ナ
B
コ
ン
テ
ナ
E
コ
ン
テ
ナ
D
Big Data
新情報！？
Hadoop

6. やってみたこと
コ
ン
テ
ナ
C
コ
ン
テ
ナ
A
コ
ン
テ
ナ
B
コ
ン
テ
ナ
E
コ
ン
テ
ナ
D
Big Data
新情報！？
もしかして:google
Dockerでコンテナ立てて、
Hadoopで分散処理する

7. 環境
AWS上のEC2インスタンス1台
(t2.large)

8. 構築手順
環境構築
• Dockerのインストール
• Docker-Composeのインストール
Hadoop
• Hadoopを入れたコンテナの作成
• コンテナ間の連携(Docker-Compose)
分析
• 分析データの入手
• 分析

9. 環境構築 ～DockerとDocker-Compose
yumでDockerをインストール
Docker
curlコマンドでバイナリをダウンロードし、実行権限を付与する
Docker-Compose
簡単です

10. Hadoop ～コンテナの作成とコンテナ間の連携
コンテナの作成
コンテナ間の連携
Docker-Composeで各コンテナ間にリンクを貼り、クラスタを構築する
Javaのインストール
Hadoopのインストール
分散処理の設定
長いため、詳細は省略

11. 分析 ～データの入手と分析
・公開されている130万件のパスワード
・使われているワードを集計する
データの入手
・パスワードを分割し、各コンテナで集計する
・集計後、結果を統合する
分析
https://github.com/danielmiessler/SecLists/blob/master/Passwords/10k_most_common.txt
https://github.com/danielmiessler/SecLists/blob/master/Passwords/darkc0de.txt
https://github.com/danielmiessler/SecLists/blob/master/Passwords/Ashley_Madison.txt
http://area51archives.com/index.php?title=Ultimate_Password_List

12. 処理時間の比較と分析結果
順位 ワード
1 123456
2 password
3 12345
処理マシン 処理時間(s)
Hadoop 49.6
Pythonによる単独処理 27.9
Hadoopと通常のマシンによる処理時間の比較
処理があまりにも単調だったためジョブの分割に時間がかかり、
単独処理のほうが早くなった・・・
多く使われていたパスワードTOP3
分析結果
処理時間の比較

13. まとめ
結論
• 仮想マシンでクラスタを組むよりも手軽に実施できる
-> 開発やテスト環境向けを作るときに楽
-> バージョンをイメージで管理できる
次の目標
• Sparkと連携したい
• VMのクラスタの処理時間と比較したい

14. 最後に・・・
TISでは、
OSSに関するサポートやシステムの設計、
構築などを行っています
興味がある方は
ぜひTISブースまで
お立ち寄りください

15. ご清聴
ありがとうございました

16. 補足: 構築方法

17. 構築手順
環境構築
• Dockerのインストール
• Dokcer-composeのインストール
ファイルの
作成と配置
• Dockerfile
• Docker-compose.yml
• Hadoop用のxmlファイル
• Rpmファイル
イメージの
作成
• Hadoopを入れたイメージの作成
• 上記のイメージからマスタサーバとスレーブサーバのイメージを作成する
起動とテス
ト
• イメージからマスタサーバとスレーブを立ち上げる
• 各初期設定
• テスト用プログラムの実行

18. Dockerのインストール
① yum –y install docker
② service docker start
下記の表示がでればOK
$docker
Usage: docker [OPTIONS] COMMAND [arg...]
A self-sufficient runtime for linux containers.
Options:
・・・

19. Docker-composeのインストール
① curl -L
https://github.com/docker/compose/releases/download/1.4.2/doc
ker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-
compose
② chmod +x /usr/local/bin/docker-compose
下記の表示がでればOK
$docker-compose –version
docker-compose version: 1.4.2

20. ファイルの作成と配置
rpmファイルは以下から事前にダウンロードしておく
・cloudera-cdh-5.0.x86_64.rpm
curl -LO http://archive.cloudera.com/cdh5/one-click-install/
redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm
・oracle jdk
curl -LO -b "oraclelicense=accept-securebackup-cookie"
http://download.oracle.com/otn-pub/java/
jdk/7u79-b15/jdk-7u79-linux-x64.rpm
左図のようなファイル構造を作成する

21. Dockerfile
FROM centos:latest
USER root
RUN yum -y update
RUN yum -y install sudo wget
ADD rpm /tmp/rpm/
RUN rpm -ivh /tmp/rpm/jdk-7u79-linux-x64.rpm
RUN rm /tmp/rpm/jdk-7u79-linux-x64.rpm
ENV JAVA_HOME /usr/java/default
ENV PATH $PATH:$JAVA_HOME/bin
RUN mv /tmp/rpm/cloudera-cdh-5-0.x86_64.rpm /usr/local/src/
RUN rpm -ivh /usr/local/src/cloudera-cdh-5-0.x86_64.rpm
RUN rpm --import http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
RUN yum -y install hadoop-conf-pseudo
RUN rm -rf /tmp/rpm

22. Dockerfile(続き)
RUN sed -ri 's/Defaults requiretty/#Defaults requiretty/g' /etc/sudoers
ADD xml /tmp/xml/
ENTRYPOINT /sbin/init
EXPOSE 50010 50020 50070 50075 50090
EXPOSE 19888
EXPOSE 8020 8030 8031 8032 8033 8040 8042 8088
EXPOSE 49707 2112

23. docker-compose.yml
master:
build: ./master
hostname: master
ports:
- "50070:50070"
privileged: true
links:
- "slave1"
- "slave2"
slave1:
build: ./slave
hostname: slave1
links:
- "slave2"
privileged: true
slave2:
build: ./slave
hostname: slave2
privileged: true

24. master/dockerfile
FROM hadoop:1.0
USER root
ADD init-master.sh /tmp/init-master.sh
RUN chown root:root /tmp/init-master.sh
RUN chmod 700 /tmp/init-master.sh
CMD ["tmp/init-master.sh","-d"]

25. master/init-master.sh
#!/bin/bash
sudo cp -prL /etc/hadoop/conf /etc/hadoop/conf.distribute.mr1
sudo alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.distribute.mr1 50
sudo mv -f /tmp/xml/core-site.xml /etc/hadoop/conf/core-site.xml
sudo mv -f /tmp/xml/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml
sudo mv -f /tmp/xml/mapred-site.xml /etc/hadoop/conf/mapred-site.xml
sudo service hadoop-hdfs-namenode start
sudo -u hdfs hdfs namenode -format
sudo useradd hadoop_exec
sudo -u hdfs hadoop fs -mkdir -p /user/hadoop_exec
sudo -u hdfs hadoop fs -chown hadoop_exec /user/hadoop_exec
sudo -u hdfs hadoop fs -chmod -R 777 /
sudo service hadoop-yarn-resourcemanager start
sudo service hadoop-mapreduce-historyserver start

26. slave/Dockerfile
FROM hadoop:1.0
USER root
ADD init-slave.sh /tmp/init-slave.sh
RUN chown root:root /tmp/init-slave.sh
RUN chmod 700 /tmp/init-slave.sh
CMD ["/tmp/init-slave.sh","-d"]

27. slave/init-slave.sh
#!/bin/bash
sudo cp -prL /etc/hadoop/conf /etc/hadoop/conf.distribute.mr1
sudo alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.distribute.mr1 50
sudo mv -f /tmp/xml/core-site.xml /etc/hadoop/conf/core-site.xml
sudo mv -f /tmp/xml/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml
sudo mv -f /tmp/xml/mapred-site.xml /etc/hadoop/conf/mapred-site.xml
sudo service hadoop-hdfs-datamode start
sudo useradd hadoop_exec
sudo service hadoop-yarn-nodemanager start

28. xml/core-site.xml (変更箇所のみ)
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>

29. xml/hdfs-site.xml (変更箇所のみ)
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/var/lib/hadoop-hdfs/cache/${user.name}/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/var/lib/hadoop-hdfs/cache/${user.name}/dfs/data</value>
</property>

30. xml/mapred-site.xml (変更箇所のみ)
<property>
<name>mapred.job.tracker</name>
<value>master:8021</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

31. イメージの作成
CentosからHadoop用イメージを作成する
$docker build –t Hadoop:1.0 .
Hadoopイメージからマスタ/スレーブ用のイメージを作成する
$docker-compose build

32. masterサーバの設定
• docker exec -it XXXX_master_1 /bin/bash
• 初期設定を行う
/tmp/init-master.sh

33. slaveサーバの設定 (2台とも)
• docker exec -it XXXX_slave_1 /bin/bash
・初期設定を行う
/tmp/init-slave.sh
・hostsファイルに、各コンテナのFQDNを記述する
・記述後、datanodeを再起動する
Service Hadoop-hdfs-datanode restart

34. テスト用プログラムの実行
sudo -u hdfs hadoop jar /usr/lib/hadoop-mapreduce/hadoop-
mapreduce-examples-2.X.X-cdh5.1.2.jar pi 10 300
無事、円周率が表示されれば成功