Datalabを”もっと”使おう
&
Colaboratoryって何?
GCPUG
Nov. 18, 2017
Hi there!
● Hayato Yoshikawa
@hayatoy @hayatoy82
● Publication!
「Google Cloud Platformではじめる機
械学習と深層学習」という本を書きまし
た。
Cloud Datalabとは
● Jupyter Notebookのクラウド版
● ブラウザ上でインタラクティブに
PythonコードやBigQueryのクエリが走る
● GCPのリソースに簡単アクセス
Datalabの構成はどうなってるの?
本体は
gcr.io/cloud-datalab/datalab
ユーザー領域はPDをマウント
SSH接続
Datalabにライブラリを追加するには?
startup.shに”pip install xxx”などを記載
startup.sh自体はPDにある。コンテナ起動
時に/root配下にコピー&実行される
startup.shのデバッグ
(たぶん)どこにも書いて無いけど、 /terminals/1 にアク
セスするとTerminalを起動できる
例:xgboostをインストール
apt-get update
apt-get install build-essential
git clone --recursive https://github.com/dmlc/xgboost
cd xgboost; make -j4
この2つを忘れずに
Swapfile
DatalabはPDにVMメモリと同じサイズのswapfileを生成する
PDのサイズを小さくしていると、すぐ容量が足りなくなる
mem_total_line=`cat /proc/meminfo | grep MemTotal`
mem_total_value=`echo "${mem_total_line}" | cut -d ':' -f 2`
memory_kb=`echo "${mem_total_value}" | cut -d 'k' -f 1 | tr -d '[:space:]'`
swapfile="${MOUNT_DIR}/swapfile"
Custom metadataにスクリプトがあるので
書き換えればOKかも
datalabコマンドを使わないで接続
datalabコマンドは内部的にSSHを呼んでいるだけ
自分でSSHポートフォワードすればdatalabコマンド
・Googleアカウントが無くても接続できる
Cloud Shellだと遅い?
● Boost ModeをONにする
● zoneをasia-east1-*にする
体感速度上がるかって?
それは気持ちの問題です・・
Colaboratory
Colaboratoryって?
● https://colab.research.google.com/
● 機械学習の勉強と研究用のJupyter
● 複数人同時編集できる(Google Docsみたいに)
● NotebookはGoogle Driveに保存
● カーネルはGCEで実行
● Python2のみ
*現時点(2017年11月)では無料で利用可能、た
だし許可制
スペック?
CPU 2.2 GHz Intel Xeon E5 v4
(Broadwell) x2
Memory 13GB
n1-highmem-2 ?
Zoneとかその他情報
Metadata覗けなかった・・・(´・ω・`)
Thank you!

Datalab and colaboratory