Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Datalab and colaboratory

828 views

Published on

Let's learn how to use Cloud Datalab deeply.

Published in: Technology
  • Be the first to comment

Datalab and colaboratory

  1. 1. Datalabを”もっと”使おう & Colaboratoryって何? GCPUG Nov. 18, 2017
  2. 2. Hi there! ● Hayato Yoshikawa @hayatoy @hayatoy82 ● Publication! 「Google Cloud Platformではじめる機 械学習と深層学習」という本を書きまし た。
  3. 3. Cloud Datalabとは ● Jupyter Notebookのクラウド版 ● ブラウザ上でインタラクティブに PythonコードやBigQueryのクエリが走る ● GCPのリソースに簡単アクセス
  4. 4. Datalabの構成はどうなってるの? 本体は gcr.io/cloud-datalab/datalab ユーザー領域はPDをマウント SSH接続
  5. 5. Datalabにライブラリを追加するには? startup.shに”pip install xxx”などを記載 startup.sh自体はPDにある。コンテナ起動 時に/root配下にコピー&実行される
  6. 6. startup.shのデバッグ (たぶん)どこにも書いて無いけど、 /terminals/1 にアク セスするとTerminalを起動できる
  7. 7. 例:xgboostをインストール apt-get update apt-get install build-essential git clone --recursive https://github.com/dmlc/xgboost cd xgboost; make -j4 この2つを忘れずに
  8. 8. Swapfile DatalabはPDにVMメモリと同じサイズのswapfileを生成する PDのサイズを小さくしていると、すぐ容量が足りなくなる mem_total_line=`cat /proc/meminfo | grep MemTotal` mem_total_value=`echo "${mem_total_line}" | cut -d ':' -f 2` memory_kb=`echo "${mem_total_value}" | cut -d 'k' -f 1 | tr -d '[:space:]'` swapfile="${MOUNT_DIR}/swapfile" Custom metadataにスクリプトがあるので 書き換えればOKかも
  9. 9. datalabコマンドを使わないで接続 datalabコマンドは内部的にSSHを呼んでいるだけ 自分でSSHポートフォワードすればdatalabコマンド ・Googleアカウントが無くても接続できる
  10. 10. Cloud Shellだと遅い? ● Boost ModeをONにする ● zoneをasia-east1-*にする 体感速度上がるかって? それは気持ちの問題です・・
  11. 11. Colaboratory
  12. 12. Colaboratoryって? ● https://colab.research.google.com/ ● 機械学習の勉強と研究用のJupyter ● 複数人同時編集できる(Google Docsみたいに) ● NotebookはGoogle Driveに保存 ● カーネルはGCEで実行 ● Python2のみ *現時点(2017年11月)では無料で利用可能、た だし許可制
  13. 13. スペック? CPU 2.2 GHz Intel Xeon E5 v4 (Broadwell) x2 Memory 13GB n1-highmem-2 ?
  14. 14. Zoneとかその他情報 Metadata覗けなかった・・・(´・ω・`)
  15. 15. Thank you!

×