GCEをTensorFlowの「計算エンジン」にする
•
4 likes•4,264 views
TensorFlowを使ったディープラーニングの学習に、GCEをgcloudコマンドから使うことで、Googleのマシンが手元にあるような感覚で安く便利に使うことが出来るよという紹介。
More Related Content
What's hot
What's hot (20)
More from Kiyoshi SATOH
More from Kiyoshi SATOH (18)
Recently uploaded
Recently uploaded (14)
GCEをTensorFlowの「計算エンジン」にする
- 14. TensorFlowとは TensorFlowはGoogle製の機械学習ライブラリ Pythonから利⽤する 汎⽤のTensor(⾏列)演算ライブラリ マルチCPUやGPUをそのままで活⽤できる
- 16. GCEと他との⽐較 サービス名 unixbench ⽉額 GCEスタンダード (n1-standard-1) 1640 $26 EC2 (m3.medium) 920 $26 Azure (Standard A1) 680 $29 EC2 (GPU+32CPU オンデマンド) $1872 GCE (32CPU ⾮プリエンプティブ) $622 (参考) http://www.apps-gcp.com/cloud-bench-20160705/
- 22. gcloudコマンドの インストール 環境にあったファイルをダウンロードしてインストール $ wget https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-115.0. $ tar -zxf google-cloud-sdk-115.0.0-linux-x86_64.tar.gz $ google-cloud-sdk/install.sh $ source .bashrc
- 24. gcloudのデフォルト設定 gcloudコマンドで使うデフォルトのプロジェクトとゾー ン指定 $ gcloud config set project tfexample $ gcloud config set compute/zone us-east1-b
- 25. 稼働してるインスタンスの 確認 $ gcloud compute instances list NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS tensorflow-1 us-east1-b n1-standard-1 10.142.0.2 TERMINATE tensorflow-2 us-east1-b n1-standard-1 10.142.0.3 TERMINATE
- 26. gcloudコマンドでの インスタンスの稼働 GCEコンソール最終⾏の「同等の REST またはコマンド ライン」から「コマンドライン」を選択 「gcloudコマンドライン」が表⽰されるのでこれをコン ソールにコピペして実⾏ $ gcloud compute instances start tensorflow-1 $ gcloud compute instances stop tensorflow-1
- 27. gcloudコマンドからssh接続 現在のログイン名のユーザが勝⼿に作られます これは最初だいぶびっくりしますがGCEではそういうも んだ、と思うことにしました $ gcloud compute ssh tensorflow-1
- 28. 通常のsshコマンドで接続 「config-ssh」で現在起動しているインスタンスへのssh 接続設定が「.ssh/config」に作られる $ gcloud compute config-ssh FQDN名は【インスタンス名】.【ゾーン名】.【プロジェ クト名】 scpやansibleも普通に使える！ $ ssh tensorflow-1.us-east1-b.tfexample
- 30. TensorFlowのインストール python環境を整える $ sudo apt-get install python-pip python-dev TensorFlowを⼊れる $ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.9 $ sudo pip install --upgrade $TF_BINARY_URL
- 31. MNISTを学習させてみる チュートリアルのファイルを持ってくる $ git clone https://github.com/tensorflow/tensorflow $ cd tensorflow/tensorflow/g3doc/tutorials/mnist fully_connected_feed.py を修正 #from tensorflow.examples.tutorials.mnist import input_data #from tensorflow.examples.tutorials.mnist import mnist import input_data import mnist MNIST学習実⾏ $ python fully_connected_feed.py
- 32. ansibleで学習⾃動化 mnist.yml - hosts: targets user: tfuser tasks: - shell: python mnist/fully_connected_feed.py > mnist.log - fetch: src=mnist.log dest=logs hosts [targets] tensorflow-1.us-east1-b.tfexample tensorflow-4.us-east1-b.tfexample tensorflow-16.us-east1-b.tfexample ansibleで⼀気に実⾏ $ ansible-playbook -i hosts mnist.yml
- 34. インスタンス毎の学習時間 ⽐較 TensorFlowのMNISTサンプル10,000epoch学習時間 CPU数 時間(秒) 倍率 1 59.207 1.0 4 36.877 1.6 16 26.778 2.2 そんなに画期的に速くはならない…