ReNom User Group #1 Part2

INFRASTRUCTURE + LIFE + INNOVATION
RNUG Kick Off Part 2
- ReNom 2.0 -
Copyright (C) 2017 GRID All Rights Reserved.

Agenda
p ReNomとは？
p 設計思想
p Version 1.0 version 2.0
p プログラムインタフェース
p 具体例全結合ネットワーク, GAN
p まとめ
p 今後の展開、提供方法

ReNomとは？
(2017/7/20) 現在 Version 1.2まで開発が進み
ユーザー様にご利用いただいている

ReNomとは？
大切にしていること：
NN構築しやすさ、変更しやすさ
開発理由：
DLの技術向上のため、他製品のバックエンド、使いやすさの向上

設計思想
● NN構築、変更しやすさ ...
p 上からレイヤを並べてくことでNNを構築
p コメントアウトでレイヤを差し替えられる
p 正則化などの関数もレイヤ化
p ベイズサーチによるハイパーパラメータ探索
p Train関数

Version 1.0 ⇒ Version 2.0
Version 1.0 から Version 2.0へメジャーアップデートに伴い
ReNomをgithub上へ公開

自動微分
𝑎
𝑥
×
𝑏
+ 𝑓(𝑥)ℎ
𝑑ℎ
𝑑ℎ
𝑑𝑓
𝑑𝑓
𝑑𝑓
𝑑𝑏
𝑑𝑓
𝑑ℎ
𝑑ℎ
𝑑𝑥
𝑑ℎ
𝑑𝑎
𝒅𝒇
𝒅𝒂
𝒅𝒇
𝒅𝒙
トップダウン型自動微分を実装
…関数 f(x) の導関数
12
13
を自動的に生成するアルゴリズム
𝑓 𝑥 = 𝑎𝑥 + 𝑏
計算グラフを順に生成(順伝播)
𝑑𝑓
𝑑𝑥
= 𝑎
計算グラフを逆にたどる(逆伝播)

自動微分
● 勾配を求めたい行列をVariableオブジェクトとして定義する

プログラムインタフェース
pNumpyのndarrayと同じインターフェース
pSequentialモデルとFunctionalモデル
p勾配の初期化(zerograd, cleargrad)が必要ない

p Numpyのndarrayと同じインターフェース
● Numpyで書いたコード
𝑓 𝒙 = 5 𝑎6 ∗ 𝑥6 + 𝑏6 𝒂 =
𝑎:
𝑎;
, 𝒃 =
𝑏:
𝑏;
, 𝒙 =
𝑥:
𝑥;
ReNomのVariableは Numpy の ndarrayクラスを継承している。
インターフェースがNumpyと同じ。Numpyの関数にVariableオブジェクトを入れられる。

● ReNomで書いたコード
① 勾配を計算したい
変数を
Variableでラップ
② ReNomのsum演算に
置き換える

● xに関する勾配を取得
𝑓 𝒙 = 5 𝑎6 ∗ 𝑥6 + 𝑏6
𝑑𝑓
𝑑𝒙
= 𝒂
Variableオブジェクトの
勾配をすべて取得
Xに関する勾配を取得

p SequentialモデルとFunctionalモデル
n ReNom Version1と同様、Sequentialモデルを提供
n 様々なフレームワークで提供されているFunctionalモデルを追加

● Sequentialモデル … レイヤオブジェクトを並べてニューラルネットを構築
Relu
入力層
中間層
出力層

● Functionalモデル … 関数の組み合わせで自由に演算を定義可能
Relu
入力層
中間層
出力層

VariableVariable
Variable
p 勾配の初期化が必要ない
多くのフレームワークでは、逆伝播で計算された勾配情報を行列クラス
(Variableなど)が属性として持っている。
𝑎
𝑥
×
𝑏
+ 𝑓(𝑥)ℎ
𝑑𝑓
𝑑𝑓
𝑑𝑓
𝑑ℎ
𝒅𝒇
𝒅𝒙
順伝播
逆伝播

VariableVariable
Variable
● ReNomでは、計算された全ての勾配を
Gradsオブジェクトとして計算グラフの外に持つ
𝑎
𝑥
×
𝑏
+ 𝑓(𝑥)ℎ
Grads
𝒅𝒇
𝒅𝒙
𝑑𝑓
𝑑ℎ
𝑑𝑓
𝑑𝑓
リファレンス
順伝播
逆伝播

ReNom 方式
利点
・勾配計算後、初期化が必要ない
・モデルを複数定義せずに複数の勾配
データを管理できる
誤差逆伝播を実行し、各Variableの
勾配を持つGradsオブジェクトを生成
Gradsオブジェクトから
xに関する勾配を取得

具体例 1 全結合ネットワークモデル
全結合ニューラルネットワークの例を通してReNomの使用方法を説明します。
二層ニューラルネットワーク
活性化関数：Relu
Relu
1. ナイーブな実装
2. L2ノルム正則化の追加
3. Sequentialモデルを使用した実装
4. 勾配降下アルゴリズムの適用

● ナイーブな実装 - 順伝播
重みパラメータの初期化
順伝播計算

● L2正則化を追加
・L2ノルム正則化(weight decay)を付加
・Numpyで書くように重み正則化を追加することで、正則化を実装可能
・L1ノルム正則化やその他正則化も同様に、数式をそのままNumpyで書くように実装する
ことができる。

●勾配降下アルゴリズムの適用
順伝播
L2ノルム正則化
誤差関数
Grads
オブジェクト
誤差逆伝播

n Gradsオブジェクトは勾配データとVariableオブ
ジェクトへの参照を保持
n そのためupdate関数はGradクラスに実装した

n Sgd、Adamなどの勾配降下アルゴリズム
はupdate関数の引数として与える。

具体例 2 GANモデル
● GAN(Generative adversarial Network)を例にした複雑なニューラルネットワークの構築方法
Relu
Relu
Discriminator
Generator
Proper Distribution
Latent Distribution
1. GANモデル構築の簡単な説明
2. 複数のモデル定義から新たなモデル作成
3. ネットワークの一部分を更新する

● GeneratorとDiscriminator
Discriminator
Generator
Proper Distribution
Latent Distribution
Relu
Relu
二つのネットワークを
Sequentialモデルで構築

● GeneratorとDiscriminatorを統括するGANクラスを定義
Discriminator
Generator
Proper Distribution
Latent Distribution
Relu
Relu
定義済みモデル
Generator, Discriminator

二つのネットワークを別々に更新する。
Relu
Relu
Discriminator
Generator
Proper Distribution
Latent Distribution
・Discriminatorのみを更新したい場合、generatorの
with prevent_updateブロックの中で重みを更新する。
このwithブロックの中では、
Generatorの重みパラメータは
更新されない。

Relu
Relu
Discriminator
Generator
Proper Distribution
Latent Distribution
このwithブロックの中では、
Discriminatorの重みパラメータは
更新されない。
同様にGeneratorの重みだけをのみを更新

まとめ
n ReNomを公開します
n ReNomは Defined by Run
n ReNomのVariableは Numpy ndarrayと同じインタフェース
n ReNomは他DLフレームワークと、勾配の扱い方の点で異なる

今後の展開
● 8月1日(火) Version 2.0 ドキュメント公開
● 8月8日(火) ReNom 2.0 公開
機能拡張、チューニング… 徐々に更新していきます
(Convolution3D, Temporal Dropout…)
提供方法
● 公開場所 : Github
https://github.com/ReNom-dev-team/ReNom

ReNom User Group #1 Part2

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (11)

Similar to ReNom User Group #1 Part2

Similar to ReNom User Group #1 Part2 (20)

More from ReNom User Group

More from ReNom User Group (20)

ReNom User Group #1 Part2