Downloaded 23 times
![[解決策] ちょっとだけChainerを改造
MemoryPoolにこんなコードを追加
（とにかく全部捨てる…という意味）
PRしました](https://image.slidesharecdn.com/alpacachainerltupgrade15-151219065653/85/Capitalico-chainer-1-1-1-5-16-320.jpg)
![バージョンアップでハマったところ
HDF5からの読込：一部のパラメータが読み込まれない
chain.linear = Linear(…, nobias=True)
from chainer.serializers.hdf5 import HDF5Deserializer
group = h5file["chainer"]
serializer = HDF5Deserializer(group)
serializer.load(chain)
モデルファイルにbiasが書かれていても読まれない](https://image.slidesharecdn.com/alpacachainerltupgrade15-151219065653/85/Capitalico-chainer-1-1-1-5-19-320.jpg)
![その他非互換部分
レイヤー内の変数が(Numpy/gpuarrayから)Variableになった
ohlc.W.shape[1]
ohlc.W.data.shape[1]
旧FunctionがFunctionとLinkに分離
import chainer.functions as F
F.Linear(x_size, self.n_units)
import chainer.links as L
L.Linear(x_size, self.n_units)](https://image.slidesharecdn.com/alpacachainerltupgrade15-151219065653/85/Capitalico-chainer-1-1-1-5-27-320.jpg)
![過去に学習したモデルを変換
Chainer 1.1形式のモデル (pickle)を読み込み1.5の形式(HDF5)で出力
import sys
from chainer.links.connection import linear
sys.modules['chainer.functions.linear'] = linear
パッケージの配置が変わっているのでトリックを入れる
with open(path) as fp:
chain = cPickle.loads(fp.read())
一応読めるようになる
newchain.linear.W.data[...] = model.W[...]
newchain.linear.W.grad[...] = model.gW[...]
newchain.linear.b.data[...] = model.b[...]
newchain.linear.b.grad[...] = model.gb[...]
newchain = Chain(linear=linear.Linear(x, y))
変数の値を淡々とコピー
nobias=Trueのとき不要](https://image.slidesharecdn.com/alpacachainerltupgrade15-151219065653/85/Capitalico-chainer-1-1-1-5-28-320.jpg)
![モデルの保存形式をHDF5に変更
保存：何のつまづきもなくすんなり
from chainer.serializers.hdf5 import HDF5Serializer
group = h5file.create_group("/chainer”)
serializer = HDF5Serializer(group)
serializer.save(model)
読込：一部のパラメータが読み込まれなくてハマる
model = Linear(…, nobias=True)
from chainer.serializers.hdf5 import HDF5Deserializer
group = h5file["chainer"]
serializer = HDF5Deserializer(group)
serializer.load(model)
ファイルにbiasが書かれていても読まれない](https://image.slidesharecdn.com/alpacachainerltupgrade15-151219065653/85/Capitalico-chainer-1-1-1-5-29-320.jpg)
![一応の解決策(おそらく非推奨)
chain.linear = Linear(…, nobias=True)
nobias=Trueなレイヤーを無理やりnobias=Falseに書き換える
del chain.linear.b
out_size = chain.linear.W.data.shape[0]
chain.linear.add_param('b', out_size)
from chainer.serializers.hdf5 import HDF5Deserializer
group = h5file["chainer"]
serializer = HDF5Deserializer(group)
serializer.load(chain)
bをリセット
以下の定義は修正不可とする
モデル読み込み
(ここを変えられるならnobiasを取るのが正攻法)](https://image.slidesharecdn.com/alpacachainerltupgrade15-151219065653/85/Capitalico-chainer-1-1-1-5-30-320.jpg)
Capitalicoでのchainer 1.1 → 1.5 バージョンアップ事例
- 1. Capitalicoでのchainer 1.1→1.5 バージョンアップ事例 J UN - Y A N O R I M A T S U Engineer http://alpaca.ai jnory@alpacadb.com 2015/12/19 Chainer Meetup #01
- 2. 自己紹介 乗松潤矢(Twitter: arrow_elpis, Github:jnory) Alpaca (Engineer) フリーランス 博士課程在学中（専門：自然言語処理, 統計翻訳） 今日の肩書
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. 本題の前に…CapitalicoでのChainerバージョンアップのトラウマ 2015年9月2日 Chainer 1.3リリース 弊社環境もバージョンアップを試みるが…v1.1と比較してモデル学習が約1.5倍遅い バージョンアップ失敗 Chainer 1.3の変更点 CuPyの導入 どうもこれが遅いらしい
- 10. バージョンアップで良くなったところ ボトルネックだったCuPyが高速化 速くなりました！！！ Chainer 1.1 ：約22分 Chainer1.5 ：約16分 (ありがとうございます！！！) 弊社サービス上でのモデル学習時間
- 11. Training Loss収束の様子 Chainer 1.1Chainer 1.5 ほぼ同じ学習ができた 反復回数 反復回数
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18. バージョンアップでハマったところ 1. インストール 2. FunctionSet→ Chain 4. モデルの保存形式をHDF5に変更 5. 過去に学習したモデルを変換 3. その他の非互換を修正 これ バージョンアップの流れ
- 19. バージョンアップでハマったところ HDF5からの読込：一部のパラメータが読み込まれない chain.linear = Linear(…,nobias=True) from chainer.serializers.hdf5 import HDF5Deserializer group = h5file["chainer"] serializer = HDF5Deserializer(group) serializer.load(chain) モデルファイルにbiasが書かれていても読まれない
- 20.
- 21. Chainerバージョンアップはどの程度のタスク？ コード修正：5.5人日 動作検証に要した期間：3人日 修正開始 11/26 本番環境適用12/11 デプロイ等々：2人日 コード修正量 工数 追加：500行(くらい) 削除：100行 コミット回数：30回
- 22.
- 23.
- 24.
- 25. インストール pip install cython==0.23.4 pipinstall h5py==2.5.0 pip install chainer==1.5.0.2 何のつまづきもなくすんなり
- 26. FunctionSet → Chain 何のつまづきもなくすんなり self.model= FunctionSet(**args) self.model = Chain(**args) API互換性有
- 27. その他非互換部分 レイヤー内の変数が(Numpy/gpuarrayから)Variableになった ohlc.W.shape[1] ohlc.W.data.shape[1] 旧FunctionがFunctionとLinkに分離 import chainer.functions asF F.Linear(x_size, self.n_units) import chainer.links as L L.Linear(x_size, self.n_units)
- 28. 過去に学習したモデルを変換 Chainer 1.1形式のモデル (pickle)を読み込み1.5の形式(HDF5)で出力 importsys from chainer.links.connection import linear sys.modules['chainer.functions.linear'] = linear パッケージの配置が変わっているのでトリックを入れる with open(path) as fp: chain = cPickle.loads(fp.read()) 一応読めるようになる newchain.linear.W.data[...] = model.W[...] newchain.linear.W.grad[...] = model.gW[...] newchain.linear.b.data[...] = model.b[...] newchain.linear.b.grad[...] = model.gb[...] newchain = Chain(linear=linear.Linear(x, y)) 変数の値を淡々とコピー nobias=Trueのとき不要
- 29. モデルの保存形式をHDF5に変更 保存：何のつまづきもなくすんなり from chainer.serializers.hdf5 importHDF5Serializer group = h5file.create_group("/chainer”) serializer = HDF5Serializer(group) serializer.save(model) 読込：一部のパラメータが読み込まれなくてハマる model = Linear(…, nobias=True) from chainer.serializers.hdf5 import HDF5Deserializer group = h5file["chainer"] serializer = HDF5Deserializer(group) serializer.load(model) ファイルにbiasが書かれていても読まれない
- 30. 一応の解決策(おそらく非推奨) chain.linear = Linear(…,nobias=True) nobias=Trueなレイヤーを無理やりnobias=Falseに書き換える del chain.linear.b out_size = chain.linear.W.data.shape[0] chain.linear.add_param('b', out_size) from chainer.serializers.hdf5 import HDF5Deserializer group = h5file["chainer"] serializer = HDF5Deserializer(group) serializer.load(chain) bをリセット 以下の定義は修正不可とする モデル読み込み (ここを変えられるならnobiasを取るのが正攻法)