Downloaded 40 times
![①summaryの表示
18
model.summary() を使う
____________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
====================================================================================================
convolution2d_1 (Convolution2D) (None, 26, 26, 32) 320 convolution2d_input_1[0][0]
____________________________________________________________________________________________________
activation_1 (Activation) (None, 26, 26, 32) 0 convolution2d_1[0][0]
____________________________________________________________________________________________________
convolution2d_2 (Convolution2D) (None, 24, 24, 32) 9248 activation_1[0][0]
____________________________________________________________________________________________________
activation_2 (Activation) (None, 24, 24, 32) 0 convolution2d_2[0][0]
____________________________________________________________________________________________________
maxpooling2d_1 (MaxPooling2D) (None, 12, 12, 32) 0 activation_2[0][0]
____________________________________________________________________________________________________
dropout_1 (Dropout) (None, 12, 12, 32) 0 maxpooling2d_1[0][0]
____________________________________________________________________________________________________
flatten_1 (Flatten) (None, 4608) 0 dropout_1[0][0]
____________________________________________________________________________________________________
dense_1 (Dense) (None, 128) 589952 flatten_1[0][0]
学習データの個数
コンボリューション用の3x3のフィルターが32個あります。重み（学習済みデータ）の個数は
いくつですか？3×3×32=288個じゃないの？
各フィルターにbias項があるので、32個増えて288+32 = 320個が正解](https://image.slidesharecdn.com/tfug-170422071800/85/Tfug-18-320.jpg)
![②jsonの出力
19
with open(‘output/cnn.json’, ‘w’) as fp:
json_string = model.to_json()
fp.write(json_string)
json_string = open(json_file, 'r').read()
model = model_from_json(json_string)
{"kernel_regularizer": null,
"name": "block1_conv1",
"trainable": true, "kernel_constraint": null,
"filters": 64,
"activity_regularizer": null,
"bias_constraint": null,
"strides": [1, 1],
"bias_regularizer": null,
"kernel_size": [3, 3],
"activation": "relu",
Keras Layerのコンストラクタに与え
る引数がjsonに入っている。
カスタムレイヤーの場合は、json出力のために関数を定義する必要がある。](https://image.slidesharecdn.com/tfug-170422071800/85/Tfug-19-320.jpg)
![kerasで特定の層の出力を取り出す。
24
from keras import backend as K
# モデルの読み込み
model = VGG16(include_top=True, weights='imagenet', input_tensor=None,
input_shape=None)
# 入力データをxに設定
img = image.load_img(img_file, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
# K.funtionで第l層の出力を取り出す関数を作る。
l = 10
get_layer_output = K.function([model.layers[0].input, K.learning_phase()],
[model.layers[l].output])
# 出力の取り出し
layer_output = get_layer_output([x, 0])
取り出した出力を、np.saveを使ってnumpyフォーマットで保存する。](https://image.slidesharecdn.com/tfug-170422071800/85/Tfug-24-320.jpg)
![numpyフォーマット
25
numpyヘッダー
- magic number x93NUMPY
- major version, minor version
- HEADER_LEN
- python dictionary
- 型 <f4 float32
- 配列のサイズ (3, 244, 244)
np.save(filename, data, allow_pickle=False)
を忘れずに
float data[3][224][224];
//fseekでヘッダーを飛ばす
fseek(fp, 8+2+hsize, 0);
//freadでサイズ分読み込み
fread(&data, 4, DATA_NUM, fp);
Cソースによるnumpy 読み込み](https://image.slidesharecdn.com/tfug-170422071800/85/Tfug-25-320.jpg)
![コキュートスの型変換方法
30
C++のテンプレート関数の仕組みを、コキュートス内部に実装。
C++テンプレート関数の恩恵を受けながらも、Cのソースを出力する。
int $func_name (CQT_LAYER *lp, void *inp, void *outp)
{
$weight_type filter3x3[3][3];
$input_type data3x3[3][3];
$weight_type bias;
LY_Conv2D *cnvp;
cnvp = lp->param_p;
$input_type *ip = ($input_type *)inp;
ライブラリ生成時に変換
int CQT_Conv2D_same_3x3_if_of (CQT_LAYER *lp, void *inp, void *outp)
{
float filter3x3[3][3];
float data3x3[3][3];
float bias;
LY_Conv2D *cnvp;
cnvp = lp->param_p;
float *ip = (float *)inp;
ソースを書き換えて型を指定。
関数名は一定のルールでマングリング
DLの計算は、四則演算+三角関数程度なので、
C言語の暗黙の型変換で十分対応できる。
将来的には、固定少数点数の桁数が違う関数や、特別な仕組みの量子化にも対応予定](https://image.slidesharecdn.com/tfug-170422071800/85/Tfug-30-320.jpg)
More Related Content
![[AI08] 深層学習フレームワーク Chainer × Microsoft で広がる応用](https://cdn.slidesharecdn.com/ss_thumbnails/ai08-170705031536-thumbnail.jpg?width=640&height=640&fit=bounds)
More from Natsutani Minoru
コキュートスTfug
- 1.
- 2.
- 3. アジェンダ 自己紹介 開発の経緯 コキュートスの紹介 コキュートスとは Kerasからの情報取得 Numpyフォーマット データの型を変更する 3
- 4.
- 5. 自己紹介 夏谷実 株式会社パソナテック 株式会社パソナテック エンジニアリング事業部 エンジニアマネージメントグループ TFUG KANSAI←New！ 5/27! 最近は半導体関連の仕事が多い FPGAが好き プログラミングも好き Deep Learningも好き 5
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18. ①summaryの表示 18 model.summary() を使う ____________________________________________________________________________________________________ Layer (type)Output Shape Param # Connected to ==================================================================================================== convolution2d_1 (Convolution2D) (None, 26, 26, 32) 320 convolution2d_input_1[0][0] ____________________________________________________________________________________________________ activation_1 (Activation) (None, 26, 26, 32) 0 convolution2d_1[0][0] ____________________________________________________________________________________________________ convolution2d_2 (Convolution2D) (None, 24, 24, 32) 9248 activation_1[0][0] ____________________________________________________________________________________________________ activation_2 (Activation) (None, 24, 24, 32) 0 convolution2d_2[0][0] ____________________________________________________________________________________________________ maxpooling2d_1 (MaxPooling2D) (None, 12, 12, 32) 0 activation_2[0][0] ____________________________________________________________________________________________________ dropout_1 (Dropout) (None, 12, 12, 32) 0 maxpooling2d_1[0][0] ____________________________________________________________________________________________________ flatten_1 (Flatten) (None, 4608) 0 dropout_1[0][0] ____________________________________________________________________________________________________ dense_1 (Dense) (None, 128) 589952 flatten_1[0][0] 学習データの個数 コンボリューション用の3x3のフィルターが32個あります。重み（学習済みデータ）の個数は いくつですか？3×3×32=288個じゃないの？ 各フィルターにbias項があるので、32個増えて288+32 = 320個が正解
- 19. ②jsonの出力 19 with open(‘output/cnn.json’, ‘w’)as fp: json_string = model.to_json() fp.write(json_string) json_string = open(json_file, 'r').read() model = model_from_json(json_string) {"kernel_regularizer": null, "name": "block1_conv1", "trainable": true, "kernel_constraint": null, "filters": 64, "activity_regularizer": null, "bias_constraint": null, "strides": [1, 1], "bias_regularizer": null, "kernel_size": [3, 3], "activation": "relu", Keras Layerのコンストラクタに与え る引数がjsonに入っている。 カスタムレイヤーの場合は、json出力のために関数を定義する必要がある。
- 20.
- 21.
- 22.
- 23.
- 24. kerasで特定の層の出力を取り出す。 24 from keras importbackend as K # モデルの読み込み model = VGG16(include_top=True, weights='imagenet', input_tensor=None, input_shape=None) # 入力データをxに設定 img = image.load_img(img_file, target_size=(224, 224)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) # K.funtionで第l層の出力を取り出す関数を作る。 l = 10 get_layer_output = K.function([model.layers[0].input, K.learning_phase()], [model.layers[l].output]) # 出力の取り出し layer_output = get_layer_output([x, 0]) 取り出した出力を、np.saveを使ってnumpyフォーマットで保存する。
- 25. numpyフォーマット 25 numpyヘッダー - magic numberx93NUMPY - major version, minor version - HEADER_LEN - python dictionary - 型 <f4 float32 - 配列のサイズ (3, 244, 244) np.save(filename, data, allow_pickle=False) を忘れずに float data[3][224][224]; //fseekでヘッダーを飛ばす fseek(fp, 8+2+hsize, 0); //freadでサイズ分読み込み fread(&data, 4, DATA_NUM, fp); Cソースによるnumpy 読み込み
- 26.
- 27.
- 28.
- 29. コキュートスの型変換方法 29 Conv2D 重み float32 出力 float32 入力 unit8,or float32 MNISTとVGG16では入力の型が違う。 同じソースで処理したいが、Cの枠組み では扱えない。 将来的には、重みを8bitにしたり、柔軟 な型に対応したい。 さて、どうしましょうか？ 解決策１：C++の関数テンプレートを使う。 template<typename T,typename U> T Add(T a,U b){ return a+b; } 技術的には正しい選択だが、C++はいろいろ難易度が高い。 解決策2:ポインターをキャストしもって使う。 Cソースの難易度が上がって、手を入れられなくなる。
- 30. コキュートスの型変換方法 30 C++のテンプレート関数の仕組みを、コキュートス内部に実装。 C++テンプレート関数の恩恵を受けながらも、Cのソースを出力する。 int $func_name (CQT_LAYER*lp, void *inp, void *outp) { $weight_type filter3x3[3][3]; $input_type data3x3[3][3]; $weight_type bias; LY_Conv2D *cnvp; cnvp = lp->param_p; $input_type *ip = ($input_type *)inp; ライブラリ生成時に変換 int CQT_Conv2D_same_3x3_if_of (CQT_LAYER *lp, void *inp, void *outp) { float filter3x3[3][3]; float data3x3[3][3]; float bias; LY_Conv2D *cnvp; cnvp = lp->param_p; float *ip = (float *)inp; ソースを書き換えて型を指定。 関数名は一定のルールでマングリング DLの計算は、四則演算+三角関数程度なので、 C言語の暗黙の型変換で十分対応できる。 将来的には、固定少数点数の桁数が違う関数や、特別な仕組みの量子化にも対応予定
- 31.
- 32. まとめ 誰でも参加できる組込向けフレームワークコキュー トスを作ってます。 今、ラズパイでVGG16が動いてます。 Kerasを使うと、独自フレームワークが簡単に作れます 。 numpyを使ってデバッグの効率アップ いろんな型に対応するためにC++の機能を取り込みま した。 中間言語してのC言語 Pythonと組込みCができるともてる 32 ご静聴ありがとうございました。
Editor's Notes
- #7 こうのまりか