Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to コキュートスTfug
Similar to コキュートスTfug (20)
More from Natsutani Minoru
More from Natsutani Minoru (20)
Recently uploaded
Recently uploaded (9)
コキュートスTfug
- 3. アジェンダ 自己紹介 開発の経緯 コキュートスの紹介 コキュートスとは Kerasからの情報取得 Numpyフォーマット データの型を変更する 3
- 4. 4 自己紹介
- 5. 自己紹介 夏谷実 株式会社パソナテック 株式会社パソナテック エンジニアリング事業部 エンジニアマネージメントグループ TFUG KANSAI←New！ 5/27! 最近は半導体関連の仕事が多い FPGAが好き プログラミングも好き Deep Learningも好き 5
- 7. 7 開発の経緯
- 11. 11 コキュートスの紹介
- 16. 16 Kerasからの情報取得
- 18. ①summaryの表示 18 model.summary() を使う ____________________________________________________________________________________________________ Layer (type) Output Shape Param # Connected to ==================================================================================================== convolution2d_1 (Convolution2D) (None, 26, 26, 32) 320 convolution2d_input_1[0][0] ____________________________________________________________________________________________________ activation_1 (Activation) (None, 26, 26, 32) 0 convolution2d_1[0][0] ____________________________________________________________________________________________________ convolution2d_2 (Convolution2D) (None, 24, 24, 32) 9248 activation_1[0][0] ____________________________________________________________________________________________________ activation_2 (Activation) (None, 24, 24, 32) 0 convolution2d_2[0][0] ____________________________________________________________________________________________________ maxpooling2d_1 (MaxPooling2D) (None, 12, 12, 32) 0 activation_2[0][0] ____________________________________________________________________________________________________ dropout_1 (Dropout) (None, 12, 12, 32) 0 maxpooling2d_1[0][0] ____________________________________________________________________________________________________ flatten_1 (Flatten) (None, 4608) 0 dropout_1[0][0] ____________________________________________________________________________________________________ dense_1 (Dense) (None, 128) 589952 flatten_1[0][0] 学習データの個数 コンボリューション用の3x3のフィルターが32個あります。重み（学習済みデータ）の個数は いくつですか？3×3×32=288個じゃないの？ 各フィルターにbias項があるので、32個増えて288+32 = 320個が正解
- 19. ②jsonの出力 19 with open(‘output/cnn.json’, ‘w’) as fp: json_string = model.to_json() fp.write(json_string) json_string = open(json_file, 'r').read() model = model_from_json(json_string) {"kernel_regularizer": null, "name": "block1_conv1", "trainable": true, "kernel_constraint": null, "filters": 64, "activity_regularizer": null, "bias_constraint": null, "strides": [1, 1], "bias_regularizer": null, "kernel_size": [3, 3], "activation": "relu", Keras Layerのコンストラクタに与え る引数がjsonに入っている。 カスタムレイヤーの場合は、json出力のために関数を定義する必要がある。
- 22. 22 Numpy形式について
- 24. kerasで特定の層の出力を取り出す。 24 from keras import backend as K # モデルの読み込み model = VGG16(include_top=True, weights='imagenet', input_tensor=None, input_shape=None) # 入力データをxに設定 img = image.load_img(img_file, target_size=(224, 224)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) # K.funtionで第l層の出力を取り出す関数を作る。 l = 10 get_layer_output = K.function([model.layers[0].input, K.learning_phase()], [model.layers[l].output]) # 出力の取り出し layer_output = get_layer_output([x, 0]) 取り出した出力を、np.saveを使ってnumpyフォーマットで保存する。
- 25. numpyフォーマット 25 numpyヘッダー - magic number x93NUMPY - major version, minor version - HEADER_LEN - python dictionary - 型 <f4 float32 - 配列のサイズ (3, 244, 244) np.save(filename, data, allow_pickle=False) を忘れずに float data[3][224][224]; //fseekでヘッダーを飛ばす fseek(fp, 8+2+hsize, 0); //freadでサイズ分読み込み fread(&data, 4, DATA_NUM, fp); Cソースによるnumpy 読み込み
- 28. 28 データの型を変更する
- 29. コキュートスの型変換方法 29 Conv2D 重み float32 出力 float32 入力 unit8, or float32 MNISTとVGG16では入力の型が違う。 同じソースで処理したいが、Cの枠組み では扱えない。 将来的には、重みを8bitにしたり、柔軟 な型に対応したい。 さて、どうしましょうか？ 解決策１：C++の関数テンプレートを使う。 template<typename T,typename U> T Add(T a,U b){ return a+b; } 技術的には正しい選択だが、C++はいろいろ難易度が高い。 解決策2:ポインターをキャストしもって使う。 Cソースの難易度が上がって、手を入れられなくなる。
- 30. コキュートスの型変換方法 30 C++のテンプレート関数の仕組みを、コキュートス内部に実装。 C++テンプレート関数の恩恵を受けながらも、Cのソースを出力する。 int $func_name (CQT_LAYER *lp, void *inp, void *outp) { $weight_type filter3x3[3][3]; $input_type data3x3[3][3]; $weight_type bias; LY_Conv2D *cnvp; cnvp = lp->param_p; $input_type *ip = ($input_type *)inp; ライブラリ生成時に変換 int CQT_Conv2D_same_3x3_if_of (CQT_LAYER *lp, void *inp, void *outp) { float filter3x3[3][3]; float data3x3[3][3]; float bias; LY_Conv2D *cnvp; cnvp = lp->param_p; float *ip = (float *)inp; ソースを書き換えて型を指定。 関数名は一定のルールでマングリング DLの計算は、四則演算+三角関数程度なので、 C言語の暗黙の型変換で十分対応できる。 将来的には、固定少数点数の桁数が違う関数や、特別な仕組みの量子化にも対応予定
- 32. まとめ 誰でも参加できる組込向けフレームワークコキュー トスを作ってます。 今、ラズパイでVGG16が動いてます。 Kerasを使うと、独自フレームワークが簡単に作れます 。 numpyを使ってデバッグの効率アップ いろんな型に対応するためにC++の機能を取り込みま した。 中間言語してのC言語 Pythonと組込みCができるともてる 32 ご静聴ありがとうございました。
Editor's Notes
- こうのまりか