Download to read offline
Shiva 〜Nextremerをscale upする機械学習環境〜
- 1.
- 2. 自己紹介 両角 和軌(もろずみ かずき) 株式会社Nextremerプログラマー ※対話システムの研究開発をしている企業です • 主にやっていること • サーバーサイド開発 • ここ最近触った技術 • Terraform, Ansible, Packer ← Infrasctucture as Code！ • Docker, Kubernetes, Apache Mesos ← ポータビリティさいこう！ • Python, Scala, javascript(ES6) ← 関数型うまくかけると気持ちいい！ • Finagle, React.js ← マイクロサービスしたい！リアクティブしたい！
- 3.
- 4. 機械学習環境 Shiva 1. オフィスにあるGPUマシンに 2.Webのダッシュボードから 3. 専用のJupyterを立ち上げられる
- 5. Shivaが解決する課題 GPUマシンを使いたいけど・・・ • クラウド費用を気にして気軽に使えない •主に予算付きのPJ以外、トレーニングとか、闇研究とか • GPUマシンを複数ユーザーで共有するのもやりにくい • ライブラリの競合、誰が使ってるかわからん • GPUマシン上での環境構築が大変だったり • 全員が詳しいわけじゃない
- 6.
- 7. Abstract ユーザー毎のDockerコンテナ 全部入り環境& sudo権限 ホームdirを全マシンで共有
- 8.
- 9.
- 10.
- 11. Architecture Overview ユーザーとポートのマッピング •http://host/user/kazuki.morozumi • Jupyterがリスンするポートはランダム コンテナ稼働状況を公開するAPI tmpnbをカスタマイズ • https://github.com/jupyter/tmpnb
- 12.
- 13.
- 14. Infrastructure Overview Mesos+Marathonを選択した理由 •特定のアプリをデーモンとして動かせれば十分 • サービスディスカバリとかはいらない • Kubernetesはオーバースペックすぎる • 構成要素が多く複雑で構築、メンテナンスが大変 • 単純にMesos+Marathonを試してみたかった • 構築当時は情報がかなり少なかった
- 15. Infrastructure Overview CPU IntelCore i7-6700K メモリ 32GB Disk SSD 500GB GPU GTX-1080 ×2枚 GPUマシンスペック 見た目も大事！ - とりあえず光らせる - みんなに見える場所に置く
- 16. 運用していて起こった問題 ディスク上限 • 学習データ数百GBをアップロードしたらディスク上限に達して停止 •コンテナ側からsshfsで自分のPCのディスクをマウントして回避した コンテナが暴走した時のセーフティーネット • 開発したコードのバグでホストのCPU・メモリを食い潰す • ビギナーのユーザーがこのようなバグを作りがち • 対応策はコンテナ毎にリソース制限をつける • 頻度低かつ影響低なので特に現状は対応せず
- 17.
- 18.
- 19.
- 20. Nextremerではこんなことをやっています 弊社CEO 向井をコピーした対話システム •2017/10 第8回対話システムシンポジウムにてデモ発表
- 21.
- 22. 最後に Nextremerではコンテナを利用して対話システムを一緒に開発す るエンジニアを探しています！ 両角へ直接or Wantedly よりご連絡ください いつでもNextremerオフィスをご案内します！