Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

NIIで いろいろな Hadoop環境(だけじゃないけど)を 作ったり壊したり 動かし続けたりしている話

5,630 views

Published on

2016/2/8に開催されたHadoop Conference Japan 2016でのLTでお話しさせていただいた、NIIで構築・運用しているHadoopについての資料です。

Published in: Technology
  • Be the first to comment

NIIで いろいろな Hadoop環境(だけじゃないけど)を 作ったり壊したり 動かし続けたりしている話

  1. 1. NIIで いろいろな Hadoop環境(だけじゃないけど)を 作ったり壊したり 動かし続けたりしている話 谷沢智史(株式会社ボイスリサーチ)
  2. 2. 誰? 谷沢智史 ◦ 株式会社ボイスリサーチ エンジニア ◦ GitHub/Twitter: @yacchin1205 昔: オンラインゲームとか映像コンテンツとか 今: クラウド運用とかロボットとか 国立情報学研究所(NII)でプライベートクラウドの運用支援
  3. 3. 国立情報学研究所には… 所内研究者向けベアメタルクラウドサービス ◦ 研究クラウド / アカデミックインタークラウド 授業や研究のため、 ここでHadoopを動かしてます
  4. 4. 学術機関 … 要求が多様 教材用途: VMベースにして自由に壊せるようにしたい / それを1週間だけほしいー Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN Baremetal VM VM VM VM VM NN ZK NN ZK ZK DN DN DN …
  5. 5. 学術機関 … 要求が多様 分析用途: ログ集約にはFluentdがいいなあ / 認証つけて / OpenTSDBってのを使いたいよね / しばらく維持し続けたい / etc… Baremetal DN Region Server Baremetal DN Region Server Baremetal DN Region Server Baremetal DN Region Server Baremetal DN Region Server Baremetal DN Region Server Baremetal DN Region Server Baremetal DN Region Server… Baremetal NN ZK Baremetal NN ZK Baremetal Master ZK Baremetal Fluentd Baremetal Fluentd Open TSDB KDC Master KDC Slave KDC Slave Hadoopエコシステムは広大・・・!
  6. 6. 構築・運用をどうやろう? Hadoopの管理ツールを使う? ◦ ディストリビューションで完結できれば、とても便利なツールがあるが… ◦ 管理ツールがサポートするソフトウェアに利用を絞れれば使えそう 構成管理ツールを使う? ◦ 例えばAnsibleとか… 多くのRoleが公開されている ◦ 構築: うまくパラメータ化し、Playbookにまとめれば構成管理ツールで完結できそう ◦ 運用: 知識「どういうときに、何をやるべきか? 」の表現・共有は構成管理ツールで は難しそう
  7. 7. Literate Computing for Reproducible Infrastructure Jupyter(旧IPython) + Ansible 実行コード 実行結果 説明 をNotebookとして、 ひとまとめに
  8. 8. 構築・運用作業を Ansible Playbookとして抽象化 インストールとか … 現在はHDP 2.3ベース / NTTデータさんのご協力
  9. 9. 構築・運用作業を Ansible Playbookとして抽象化 フォーマットとか
  10. 10. 手順・説明をNotebookに
  11. 11. 作業をAnsible経由で 特定のノードで何かコマンドをたたきたいとか ◦ 運用 … Decommissionに必要なコマンド実行/パッケージのアップデート…
  12. 12. 手順だけでなく経緯の説明も 操作とともに説明を書いたりとか
  13. 13. Hadoop以外のものも Hadoop以外のものも同じ枠組みでまとめられる ◦ Xenのインストールとか、Fluentdのインストールとか…
  14. 14. 1年試してみた感触… 過去やったことを簡単に再現できる ◦ 状態を持っているものはダメだったりする – 事前条件のチェックなどを書き足す 「どうやればいいの?」に対して、Notebookを渡して「これ見て」で済む ◦ 済まない場合もある – 説明を書き足す 構築・運用作業のリファクタリングが大変 ◦ 同じような操作をどうパラメータ化して、次以降に楽をするか? ◦ 作業の実施そのものが楽になる分… 操作や説明の継続的改善に取り組む必要 運用作業にもJupyter使ってみましょ!!!!!!!!!

×