2018/6/26 deep learning Neural Network Console hands-on

2018/6/26 deep learning Neural Network Console hands-on
ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社シニアマシンラーニングリサーチャー小林由幸 Neural Network Console ハンズオン
2 自己紹介小林由幸 1999年にソニーに入社、2003年より機械学習技術の研究開発を始め、音楽解析技術「12音解析」のコアアルゴリズム、認識技術の自動生成技術「ELFE」などを開発。近年は「Neural Network Console」を中心にディープラーニング関連の技術・ソフトウェア開発を進める一方、機械学習普及促進や新しいアプリケーションの発掘にも注力。こばやしよしゆき
3 目次 • Deep Learningの基礎知識とNeural Network Console • Neural Network Consoleチュートリアルとハンズオン • セットアップ • サンプルプロジェクトの実行 • 分類問題（画像入力） • 分類分類（画像以外） • ニューラルネットワーク設計の基礎まとめ • 作成した認識機の製品・サービス等への組み込み • 構造自動探索 • GPUを用いた学習 • まとめ
4 Deep Learningの基礎知識とNeural Network Console
5 Deep Learningとは脳の学習機能をコンピュータでシミュレーションするニューラルネットワークを用いた技術神経細胞人工ニューロン x1 x2 x3 … y 𝑦 = 𝑓 𝑤𝑖x𝑖 + b ニューラルネットワーク（1960～1990頃） Deep Learning (2006～) 0 1 入力層中間層出力層 … … … 1～2層の中間層 … … … … … … … 入力層出力層 3層～1000以上の中間層数十Ｍ規模のニューロン数大規模なニューラルネットワークの学習が可能になり、大幅に性能向上
6 認識機を作成するために必要な作業（画像認識機における例） … … … … … … … 画像認識機（Neural Network） Input：画像 Output：画像認識結果「2」 1. データセットを用意する入力と、期待する出力のペアを多数用意 2. ニューラルネットワークの構造を設計する（サンプルを利用可能） 3. 用意したデータセットで、設計したニューラルネットワークを学習する基本的にはこの3ステップで画像認識機を作成することができる … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
7 Feed Forward Neural Networkの構成例 28×28 8×8×16 4×4×16 24×24×6 12×12×6 入力出力 1 x 28 x 28 6 x 24 x 24 16 x 12 x 12 16 x 8 x 8 16 x 4 x 4 120 convolution maxpooling tanh convolution maxpooling tanh affine tanh 16 x 12 x 12 16 x 4 x 4 affine softmax 120 10 10 120 10 Convolutional Neural Network Convolution 6種の5x5フィルタを畳み込み Convolution 16種の6x5x5フィルタを畳み込み 2↓ MaxPooling + tanh Affine +tanh Affine +softmax 2↓ Maxpooling (sub sampling) + tanh ニューラルネットワークは乗加算計算を主とする関数の組み合わせで表現できる
8 Convolution （畳み込み層）同じ重みw 局所的なニューロンの入力を元に出力ニューロンの値を求める Input Output Affine （全結合層） … … Input Output 出力ニューロンは全ての入力ニューロンの信号を受け取る 100 100 10,000 Connection
9 -1.5 -1 -0.5 0 0.5 1 1.5 -6 -4 -2 0 2 4 6 Output Input Tanh （活性化関数）入力値を-1～1の範囲に収める MaxPooling （プーリング層） 8 x 8 4 x 4 Input Output 隣接ピクセルで最大値を取り、ダウンサンプリング
10 学習データを用いたWの更新方法ニューラルネットワークでは、乱数で初期化したパラメータWをミニバッチ勾配降下法（Mini-Batch Gradient Descent）で最適化するのが一般的入力x 出力y 0 1 2 3 4 5 6 7 8 9 … … … … 1. 学習データからミニバッチ（256個程度のデータ）を取得 2. 用意したデータを用いてForward計算を行い、現在のパラメータWによる出力yとロス（最小化したい値）Eを求める 3. Backward計算を（ロスEの逆伝播）行い、パラメータWの勾配ΔWを求める 4. Updateを行う（求めた勾配ΔWを元にWを更新） 2. Forward （入力から出力を計算）ロスE 3. Backward （パラメータの勾配を計算）パラメータW パラメータの勾配ΔW w E δE δW Forward→Backward→Updateを繰り返し、パラメータWを最適化していく 𝑊𝑡+1 ← 𝑊𝑡-𝜂Δ𝑊𝑡 0 1 2 3 4 5 6 7 8 9 正解
11 入出力次第で無限に広がるDeep Learningの応用 Deep Learning応用開発人材の育成と、活用の促進が求められる …入力出力実現する機能入力出力画像認識画像カテゴリ文章の自動仕分け文章文章カテゴリ音声認識音声文字列機械翻訳英単語列日単語列人工無能（チャット）入力発話の単語列期待応答の単語列センサ異常検知センサ信号異常度ロボット制御ロボットのセンサロボットのアクチュエーター … 実現する機能
12 Neural Network Console 商用クオリティのDeep Learning応用技術（画像認識機等）開発のための統合開発環境コーディングレスで効率の良いDeep Learningの研究開発を実現クラウド版（CPU 10時間まで無償）Windows版（無償） dl.sony.com インストールするだけ、もしくはサインアップするだけで本格的なDeep Learning開発が可能成果物はオープンソースのNeural Network Librariesを用いて製品、サービス等への組み込みが可能
13 Neural Network Console チュートリアルセットアップ
14 セットアップ：Windows版 1. zipファイルをダウンロード 2. 適当なフォルダに解凍ダウンロードしたzipファイルを解凍するだけで基本的なセットアップは完了日本語マニュアル Neural Network Consoleアプリ ※Neural Network Consoleは2バイト文字に対応していないため、漢字等の含まれないフォルダへの解凍が必要 ※Visual Studio 2015の再頒布パッケージがインストールされていない場合はインストール ※NVIDIAのGPUを用いる場合、GPUドライバを最新のものにアップデート
15 セットアップ：Cloud版新規アカウントを作成し、ログインするだけで利用の準備が完了 1. アカウントを作成 2. 作成したアカウントでログイン
16 Neural Network Console チュートリアルサンプルプロジェクトの実行
17 logistic regressionサンプルプロジェクトの読み込み Cloud版 Projectから tutorial.basics.01_logistic_regressionをクリック適当なプロジェクト名を入力し（デフォルトでOK）、 OKボタンを押す Windows版 PROJECTから 01_logistic_regression.sdcprojをクリック
18 データセットを確認する DATASETタブにて、下記のデータセットが読み込まれていることを確認学習用データセット⇒ 1500枚評価用データセット⇒ 500枚（クリックで切り替え）入力画像xが4の場合 yは0に、入力画像xが9の場合 yは1になっているすなわちyは、入力画像 xが9かどうかを表している
19 画像認識用ネットワーク（1層 Logistic Regression）を確認する ←1（モノクロ）×28（Height）×28（Width）の画像入力 ←全結合層入力（1,28,28）→出力（1） ←Sigmoid関数によるアクティベーション ←ロス関数(1) ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ … ○ Input 1x28x28 Affine ○ 全結合 ○ OutputSigmoid 4(=0) or 9(=1) 1層のネットワークで4と9の数字を見分ける課題 28 28 EDITタブにて、下記の1層ニューラルネットワークが入力されていることを確認
20 学習の実行学習曲線（縦軸誤差、横軸学習世代）学習進捗（コアエンジンのログ出力）学習進捗状況 Windows版Cloud版
21 評価の実行 Accuracy=分類精度 Windows版Cloud版
22 Neural Network Console チュートリアル分類問題（画像入力）
23 データセットの準備（画像分類問題）今回はNeural Network Consoleサンプルデータの、MNISTデータセットを利用 MNISTデータセット（手書き数字認識）学習用データ samplessample_datasetmnisttraining 28x28のモノクロ画像と、その数字が何であるかのデータからなる60000個のデータ評価用データ samplessample_datasetmnistvalidation 学習データと同様のデータからなる10000個のデータ（学習には用いず、精度評価に利用）データセットの収集はそれなりの労力を要するが、データの量と質が性能を決定する
24 データセットの準備（画像分類問題）入力xには画像ファイル名を指定出力yには正解のカテゴリのIndexを記述 1行目＝ヘッダ変数名[__次元Index][:ラベル名] 2行目以降＝データ値 or ファイル名 xとy、2つの変数ヘッダデータ (2行目以降)Neural Network 入力 x 画像出力 y カテゴリ Neural Network Consoleに対応したデータセットファイルは簡単なスクリプトで作成可能画像認識機学習用データセットの例 Neural Network Console所定のCSVファイルフォーマットでデータセットを準備 ※Neural Network Consoleは2バイト文字に対応していないため、 CSVファイル内やファイル名に漢字等を含まないようにする
25 データセットの準備（画像分類問題）画像認識問題の場合、フォルダ分けされた画像からデータセットを作成することもできる
26 データセットのアップロード（Cloud版の場合） 1. ダッシュボードからUpload Datasetを選択 2. アップローダをダウンロード（Windows / MacOS） 3. アップローダを用いてデータセット CSVファイルとデータをアップロード Upload Datasetで表示されるトークンをアップローダに Pasteし、アップロードするデータセットCSVを指定して Startボタンを押すことでアップロードを開始
27 Consoleを起動、新規プロジェクトを作成する Windows版 Cloud版適当なプロジェクト名を入力し、OKボタンを押す
28 学習、評価に用いるCSVデータセットをそれぞれ読み込む DATASETタブにて、作成したデータセットCSVファイルを読み込み（学習用・評価用それぞれ） ※本チュートリアルでは「4」と「9」の手書き数字のみを見分ける簡単なデータセットを利用 Windows版 Cloud版
29 画像認識用ネットワーク（1層 Logistic Regression）を設計する ←1（モノクロ）×28（Height）×28（Width）の画像入力 ←全結合層入力（1,28,28）→出力（1） ←Sigmoid関数によるアクティベーション ←ロス関数(1) ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ … ○ Input 1x28x28 Affine ○ 全結合 ○ OutputSigmoid 4(=0) or 9(=1) 1層のネットワークで4と9の数字を見分ける課題 28 28 EDITタブにて関数ブロックを組み合わせ、1層ニューラルネットワークを設計ドラッグ＆ドロップ操作で、視覚的にニューラルネットワークを設計
30 学習パラメータの設定 Mini Batchサイズ（1回の重み更新に使うデータ数）学習世代数（全学習データを使った時点で1世代と数える）
31 画像認識用ネットワーク（2層 Multi Layer Perceptron）を設計 IOカテゴリより、Input Basicカテゴリより、Affine Activationカテゴリより、Tanh Basicカテゴリより、 Affine Activationカテゴリより、 Sigmoid Lossカテゴリより、BinaryCrossEntropy を追加
32 Convolutional Neural Networksへ下5つのレイヤーを矩形選択して下にドラッグし、新しいレイヤーを挿入するスペースを作る BasicカテゴリからConvolution、 PoolingカテゴリからMaxPooling、 ActivationカテゴリからReLUを 2回繰り返し挿入
33 1層のLogistic Regression～4層のCNNまで 1層（Logistic Regression） 2層（Multilayer perceptron） Convolutional Neural Networks(CNN) Input：データ入力 → Convolution → ReLU → MaxPooling → Affine → ReLU → Affine → Softmax → Categorical Crossentropy 繰り返し配置最後の仕上げ (分類問題時)
34 Neural Network Console チュートリアル分類問題（画像以外）
35 データセットの準備（ベクトルデータ）例） Iris Flower Dataset あやめのがく、花びらの長さ、幅からあやめの種類(3種類)を認識以下のようなフォーマットのデータセットCSVを用意がく、花びらの長さ、幅あやめの種類 0: Iris setosa 1: Iris versicolor 2: Iris virginica 入力ベクトル x 目的変数 y
36 Iris Flower Datasetを用いた学習 • 新規プロジェクトを作成 • Projectから+ New Projectを選択 • DATASETタブにて、iris_flower_dataset を読み込み • 学習用、評価用それぞれにtraining_delo, validation_deloを読み込む • Windows版の場合、neural_network_consolesamplessample_datasetiris_flower_datasetにあるCSVファイルを開く • EDITタブにて、以下のようなネットワークを構築 • 学習、評価の実行→Affine層+活性化関数を足して多層化 ←要素数4（ x__0～x__3 ）のベクトル入力 Sizeプロパティを4に変更 ←全結合層 3ニューロン（0～2であるyに対応）を出力 OutShapeプロパティを3に変更 ←Softmax関数により、入力値を合計が1となる確率値にする ←ロス関数(1)
37 データセットの準備（音声、センサデータなど）入力センサデータのcsvファイルデータセットCSVファイル Inputレイヤーのサイズに (行,列)のサイズを指定ネットワークの設計例）2次元×13時刻のセンサ情報
38 データセットの準備（テキストデータ）事前にテキストを、単語Index系列もしくはベクトル系列に変換ベクトル系列形式のテキスト・各単語が固定長次元のベクトルで表現される・各単語の固定長ベクトルはWord2vec等で学習単語Index系列・0から始まる単語のIndexを文頭から順に並べるのみまずはテキストを単語に分割し、Index化する・例えば3千個の頻出単語を選択し、その他は1つの単語にまとめるなどする・上記3001単語に0～3000のIndexを振る文末 ↓ ↑ 文頭文末 ↓ ↑ 文頭 ←1単語分のベクトル
39 Neural Network Console チュートリアルニューラルネットワーク設計の基礎まとめ
40 ニューラルネットワーク設計の基礎 • 入力ニューロンの数を入力データの次元数、出力ニューロンの数を出力データの次元数に設定 • 画像分類問題の場合の例 • 入力ニューロン数：色数×高さ×幅 • 28x28ピクセルのモノクロ画像を入力する場合、(1, 28, 28)の配列となる • 出力ニューロン数：画像カテゴリ数 • 画像を10カテゴリに分類する場合、10とする入力ニューロン数＝入力データの次元数出力ニューロン数＝出力データの次元数28 28 X:0,Y:0 X:1,Y:0 X:2,Y:0 X:3,Y:0 X:4,Y:0 X:5,Y:0 X:26,Y:27 X:27,Y:27 784 10 0 1 2 3 4 5 6 7 8 9 … … … …
41 ニューラルネットワーク設計の基礎 1層を構成する基本構造 • Convolution層畳み込み出力を平均0、分散1に正規化活性化関数ダウンサンプリング（必要に応じて）全結合平均0、分散1に正規化活性化関数 • Affine（全結合）層 • これらの構造を複数つなぎ合わせることで、多層ネットワークを構成するのが基本 • 活性化関数は他のものを使ってもよい
42 Batch Normalization Convolution、Affineの直後、中間出力が平均0、分散1となるようにバッチ内で正規化を行う使い方（最終層を除く）ConvolutionやAffineレイヤーの直後に OtherカテゴリのBatchNormalizationレイヤーを挿入するだけ層の深いネットワークの学習を飛躍的に簡単にした学習を加速させるテクニック
43 ニューラルネットワーク設計の基礎解きたい課題に合わせ、最後のActivationとロス関数を設定 2値分類問題分類問題（カテゴリ認識等）回帰問題（数値予測等）最後の Activation Sigmoid 入力値を0.0～1.0（確率）にする Softmax 入力値を合計が1.0となる0.0 ～1.0（確率）にする（なし）ロス関数 BinaryCrossentropy 出力と正解の要素毎の相互情報量を計算 CategoricalCrossEntropy 出力と正解カテゴリIndexとの相互情報量を計算 SquaredError 出力と正解の要素毎の二乗誤差を算出ネットワーク
44 ニューラルネットワーク設計の基礎大型のニューラルネットワークになってもこの基本は変わらない ※ResNeXt-101サンプルプロジェクトより
45 Neural Network Console チュートリアル作成した認識機の製品・サービス等への組み込み
46 作成した認識機を利用する方法は3通り • Neural Network LibrariesのCLI（Python利用）からの実行簡単だが低速 • Neural Network Libraries Pythonコードからの実行比較的容易かつ高速 • Neural Network Libraries C++からの実行コンパクトに製品搭載する際に • https://github.com/sony/nnabla/tree/master/examples/cpp/mnist_runtime python "(path of Neural Network Console)/libs/nnabla/python/src/nnabla/utils/cli/cli.py" forward -c Network definition file included in the training result folder (net.nntxt) -p Parameter file included in the training result folder (parameters.h5) -d Dataset CSV file of input data -o Inference result output folder 1. Neural Network Console上で推論に用いるネットワークを右クリックして、Export、Python Code （NNabla）を選択→ネットワークの定義コードがクリップボードにコピーされる 2. 学習結果のparamters.h5を、load_parametersコマンドで読み込み import nnabla as nn nn.load_parameters('./parameters.h5') 3. 2によりパラメータが読み込まれた状態で、1でExportされたネットワークを実行（forward）
47 Neural Network Console チュートリアル構造自動探索
48 構造自動探索機能 • ネットワーク構造の変更→評価を自動で繰り返すことにより、優れたネットワーク構造を自動探索する機能 • 精度とフットプリントの同時最適化が可能 • ユーザは、最適化の結果の得られる複数の解の中から、所望の演算量と精度を持つネットワーク構造を選択できるネットワーク構造のチューニングにおける最後の追い込み作業を大幅に効率化フットプリントも同時最適化するため、HWリソースの限られた組み込み用途にも有効 ※ グラフの縦軸は誤差、横軸は演算量（log）、各点はそれぞれ異なるニューラルネットワークの構造を示す ※ 動画は最適化済み結果を早送りしたもの
49 構造自動探索を試す • 02_binary_cnnサンプルプロジェクトを開く • 構造自動探索を有効にする • CONFIGタブ、Global Configにて Structure SearchのEnableをチェック • Multiply AddのMaxを500,000に設定（ネットワークの乗加算回数の上限値） • 学習を実行 • 学習が終わると、ネットワークの一部を変更した新しいネットワークの学習がスタートする • 学習は停止操作を行うまで繰り返される（Cloud版の場合2時間が経過するか、100回繰り返すと自動停止）
50 構造自動探索結果の分析 • TRAININGタブで、Trade-off Graphを選択各点が探索されたネットワークを表す ↑Error 演算量→ より誤差が小さく、演算量の小さいネットワーク構造が探索されている発見されたより優れたネットワーク→ ←探索開始時のネットワーク
51 Neural Network Console チュートリアル GPUを用いた学習
52 Windows版におけるGPU利用の設定上記設定のみでGPUを利用できる Setupウインドウ、 ENGINEタブでGPUを選択 ※コンピュータにNVIDIA製、 Kepler世代以降のGPUが搭載されていること
53 Cloud版では豊富なGPUリソースが利用可能 • ニューラルネットワークの学習には膨大な演算が必要 • 必要な演算量は主に扱うデータの量とニューラルネットワークの構造に依存 • GPU、マルチGPUを用いると、学習完了までの時間を大幅に短縮できる • ネットワークにもよるが、10倍～数百倍高速に学習できる • 同じ開発期間でより多くの試行錯誤を行うことが可能に • 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 • 開発者はDeep Learningの開発作業に集中できる最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能
54 シングルGPUにおける学習時の動作 Fwd/Bwd 1 iteration GPU Fwd/Bwd Fwd/Bwd Fwd/Bwd… Time １ epoch Num data / Batch size Fwd/Bwd Update 1 epochの間にデータセットのデータ数÷Batch Size回以下の動作を行う • CONFIGタブ、Global ConfigのBatch Sizeで指定した数のデータをデータセットから取得 • 取得したデータを用いてニューラルネットワークのパラメータの勾配を計算（Forward/Backward） • 求めた勾配を用いてニューラルネットワークのパラメータを更新（Update）
55 マルチGPU時における学習時の動作 Fwd/BwdGPU 1 Fwd/Bwd Fwd/Bwd… Time 1 epoch Num data / (Batch size * Num GPU) Fwd/BwdGPU 2 Fwd/Bwd Fwd/Bwd… Fwd/BwdGPU 3 Fwd/Bwd Fwd/Bwd… Fwd/BwdGPU n Fwd/Bwd Fwd/Bwd… … UpdateSync1 iteration Forward/Backward計算と Update計算の間に以下の処理が入る • 求めた勾配を全ての GPU間で平均（Sync）
56 マルチGPU学習とシングルGPU学習の関係 Fwd/Bwd 256×4 data GPU＝Fwd/Bwd 256 data / GPU GPU 1 Fwd/BwdGPU 2 Fwd/BwdGPU 3 Fwd/BwdGPU 4 Multi-GPU Single-GPU シングルGPU時と同じ結果を得るには、 Learning RateをGPU数倍する例）シングルGPU時Learning Rate 0.1のプロジェクトを 4GPUで学習するには、Learning Rateを4倍の0.4とするマルチGPUを用いた学習は、シングルGPUにおけるBatch SizeをGPU数倍した学習に相当
57 マルチGPUの使いどころマルチGPU学習が適さないケース学習に要する時間が極めて短い • 1 Iterationの演算に要する時間が極端に短い場合（10ms以下など）、マルチGPUの場合GPU 間の通信に要する時間等、その他のオーバーヘッドが支配的に 1つのデータのサイズが小さい 1つの関数の処理にかかる時間が短い • 各レイヤーのForward、Backward演算に要する時間が極めて短い（0.1ms以下など）ようなネットワークではGPUによる高速化効果が得られづらいことがあるマルチGPU学習が適したケース学習に要する時間が長い • シングルGPUでは1度の学習に数日～数週間を要するケース • 4GPU、8GPUの利用により最大4倍、8倍に学習時間を短縮可能演算量に対するパラメータサイズが小さいネットワーク • 画面右下に表示されるCostMultiplyAdd（演算量）に対してCostParameter（パラメータサイズ）が小さいネットワークほど効率よく複数の GPUを利用できるプロジェクトの特性に合わせて効果的にマルチGPUの活用を
58 まとめ
59 認識機開発の流れデータの準備データセットCSV ファイルの作成データセットのアップロード（Cloud版の場合）プロジェクトの作成データセットの読み込みネットワーク構造の編集学習の設定学習評価製品・サービスへの組み込みデータの準備学習・評価デプロイ試行錯誤を通して精度を高めていく
60 Webにてチュートリアルを随時公開中 https://support.dl.sony.com/docs-ja/#Tutorial 質問・ご要望等はフォーラムへ https://groups.google.com/forum/#!forum/neur al_network_console_users_jp
61 まとめ Neural Network Consoleを用いた開発の流れプロジェクトの作成→データの読み込み→ネットワーク設計→学習→評価様々なデータの扱いデータセットCSVファイルを介して、画像、音声、ベクトル、テキストなど、様々なデータを扱うことができるニューラルネットワーク設計の基礎 Convolution層、Affine層の繰り返し構造が基本解きたい課題（2値分類、分類、回帰等）に合わせて最終層とロス関数を設定作成したモデルの製品・サービス等への組み込み Python（CLI）、Python（NNabla API）、C++の3通りから選択できる Neural Network Consoleで快適なDeep Learningライフを
SONYはソニー株式会社の登録商標または商標です。各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。

Check these out next

2018/6/26 deep learning Neural Network Console hands-on

Recommended

More Related Content

Slideshows for you(20)

Similar to 2018/6/26 deep learning Neural Network Console hands-on(20)

Recently uploaded(20)

2018/6/26 deep learning Neural Network Console hands-on