Download as PDF, PPTX
![ansibleで学習⾃動化
mnist.yml
- hosts: targets
user: tfuser
tasks:
- shell: python mnist/fully_connected_feed.py > mnist.log
- fetch: src=mnist.log dest=logs
hosts
[targets]
tensorflow-1.us-east1-b.tfexample
tensorflow-4.us-east1-b.tfexample
tensorflow-16.us-east1-b.tfexample
ansibleで⼀気に実⾏
$ ansible-playbook -i hosts mnist.yml](https://image.slidesharecdn.com/gcetensor-160726005944/85/GCE-TensorFlow-32-320.jpg)
Uploaded byKiyoshi SATOH
GCEをTensorFlowの「計算エンジン」にする
TensorFlowを使ったディープラーニングの学習に、GCEをgcloudコマンドから使うことで、Googleのマシンが手元にあるような感覚で安く便利に使うことが出来るよという紹介。
More Related Content
![[第2版]Python機械学習プログラミング 第15章](https://cdn.slidesharecdn.com/ss_thumbnails/15-190318023254-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2版]Python機械学習プログラミング 第12章](https://cdn.slidesharecdn.com/ss_thumbnails/12-181212011918-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2版]Python機械学習プログラミング 第12章](https://cdn.slidesharecdn.com/ss_thumbnails/12-190318023252-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2版]Python機械学習プログラミング 第13章](https://cdn.slidesharecdn.com/ss_thumbnails/13-190318023252-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to GCEをTensorFlowの「計算エンジン」にする
GCEをTensorFlowの「計算エンジン」にする
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. GCEと他との⽐較 サービス名 unixbench ⽉額 GCEスタンダード (n1-standard-1)1640 $26 EC2 (m3.medium) 920 $26 Azure (Standard A1) 680 $29 EC2 (GPU+32CPU オンデマンド) $1872 GCE (32CPU ⾮プリエンプティブ) $622 (参考) http://www.apps-gcp.com/cloud-bench-20160705/
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. gcloudコマンドの インストール 環境にあったファイルをダウンロードしてインストール $ wget https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-115.0. $tar -zxf google-cloud-sdk-115.0.0-linux-x86_64.tar.gz $ google-cloud-sdk/install.sh $ source .bashrc
- 23.
- 24. gcloudのデフォルト設定 gcloudコマンドで使うデフォルトのプロジェクトとゾー ン指定 $ gcloud configset project tfexample $ gcloud config set compute/zone us-east1-b
- 25. 稼働してるインスタンスの 確認 $ gcloud computeinstances list NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS tensorflow-1 us-east1-b n1-standard-1 10.142.0.2 TERMINATE tensorflow-2 us-east1-b n1-standard-1 10.142.0.3 TERMINATE
- 26. gcloudコマンドでの インスタンスの稼働 GCEコンソール最終⾏の「同等の REST またはコマンド ライン」から「コマンドライン」を選択 「gcloudコマンドライン」が表⽰されるのでこれをコン ソールにコピペして実⾏ $ gcloud computeinstances start tensorflow-1 $ gcloud compute instances stop tensorflow-1
- 27.
- 28. 通常のsshコマンドで接続 「config-ssh」で現在起動しているインスタンスへのssh 接続設定が「.ssh/config」に作られる $ gcloud computeconfig-ssh FQDN名は【インスタンス名】.【ゾーン名】.【プロジェ クト名】 scpやansibleも普通に使える！ $ ssh tensorflow-1.us-east1-b.tfexample
- 29.
- 30. TensorFlowのインストール python環境を整える $ sudo apt-getinstall python-pip python-dev TensorFlowを⼊れる $ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.9 $ sudo pip install --upgrade $TF_BINARY_URL
- 31. MNISTを学習させてみる チュートリアルのファイルを持ってくる $ git clonehttps://github.com/tensorflow/tensorflow $ cd tensorflow/tensorflow/g3doc/tutorials/mnist fully_connected_feed.py を修正 #from tensorflow.examples.tutorials.mnist import input_data #from tensorflow.examples.tutorials.mnist import mnist import input_data import mnist MNIST学習実⾏ $ python fully_connected_feed.py
- 32. ansibleで学習⾃動化 mnist.yml - hosts: targets user:tfuser tasks: - shell: python mnist/fully_connected_feed.py > mnist.log - fetch: src=mnist.log dest=logs hosts [targets] tensorflow-1.us-east1-b.tfexample tensorflow-4.us-east1-b.tfexample tensorflow-16.us-east1-b.tfexample ansibleで⼀気に実⾏ $ ansible-playbook -i hosts mnist.yml
- 33.
- 34. インスタンス毎の学習時間 ⽐較 TensorFlowのMNISTサンプル10,000epoch学習時間 CPU数 時間(秒) 倍率 159.207 1.0 4 36.877 1.6 16 26.778 2.2 そんなに画期的に速くはならない…
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.