Jupyterで運用する(したい)人たちの集い(仮) #1での資料です。 NIIクラウドチームでの試み Literate Computing for Reproducible Infrastructure の一環で、Jupyterをインフラ運用に適用してみています。

1. Jupyterで運用やってみた
2016/7/1
谷沢智史(株式会社ボイスリサーチ)

2. 誰？
谷沢智史
◦ 株式会社ボイスリサーチ 取締役
◦ GitHub/Twitter: @yacchin1205
昔: オンラインゲームとか映像コンテンツとか
今: クラウド運用とかロボットとか
国立情報学研究所(NII)でプライベートクラウドの運用支援

3. Jupyterにちょっとだけ
コード投げました。
http://jupyter.org/about.html

4. 国立情報学研究所には…
所内研究者向けベアメタルクラウドサービス
◦ 研究クラウド / アカデミックインタークラウド

5. Literate Computing
for Reproducible Infrastructure
Jupyter(旧IPython) + Ansible
実行コード
実行結果
説明
をNotebookとして、
ひとまとめに

6. お手本Notebook
https://github.com/NII-cloud-operation/Literate-computing-Basics

7. 運用やってみてます
Hadoopクラスタの運用
ユーティリティサーバの運用

8. Hadoopの構築

9. Hadoopの構築
動作確認とかもNotebook化

10. 構築・運用作業を
Ansible Playbookとして抽象化
インストールとか … 現在はHDP 2.3ベース / NTTデータさんのご協力

11. 構築・運用作業を
Ansible Playbookとして抽象化
フォーマットとか

12. 作業をAnsible経由で
特定のノードで何かコマンドをたたきたいとか

13. AnsibleとJupyterのすみわけ
構築手順そのものはAnsible Playbookとして実装
Ansible Playbookにできない/Jupyterで記述すべき部分
◦ 収容設計: どのhostにどのroleを割り当て？
◦ 運用作業: 状況を確認・対処方法の検討

14. 収容設計
収容設計情報からインベントリを作ったり

15. 運用作業
故障発生時の対応: クラスタの健康状態を確認・問題ノードへの対処

16. ユーティリティサーバの運用
アップデートってしんどいですよね

17. 試してみた感触…
過去やったことを簡単に再現できる
◦ 状態を持っているものはダメだったりする – 事前条件のチェックなどを書き足す
「どうやればいいの？」に対して、Notebookを渡して「これ見て」で済む
◦ 済まない場合もある – 説明を書き足す(リファクタリング)
永遠の課題: 構築・運用作業のリファクタリング
◦ 同じような操作をどうパラメータ化して、次以降に楽をするか？
◦ 作業の実施そのものが楽になる分… 操作や説明の継続的改善に取り組む必要
運用作業にもJupyter使ってみましょ!!!!!!!!!