本資料は、以下のイベントにて発表した資料です。 第1回 TensorFlow内部構造 勉強会（2019.3.4） https://tensorflowinternal.connpass.com/event/115653/

1. TensorFlow Operation
作ってみた
@第一回 TensorFlow内部構造勉強会
stakky

2. 自己紹介
❏ 仕事内容
❏ システム周りのエンジニア( c++, c, assembly, etc...)
❏ AI フレームワーク関連の調査もしてます
❏ 最近はHyperparameter最適化に目移りしてます...

3. なぜTensorFlow Operationsなのか?
❏ 処理内容がイメージしやすい
❏ Conv2D, Maxpool, Relu, Matmul, Add, etc...
❏ ドキュメントが豊富
❏ OperationごとのAPIリファレンス
❏ 実行も簡単
❏ 数個のAPIを実行するだけですぐに試せる。

4. さっそく
ソースコードを
見てみよう
Addとか簡単だよね、きっと・・・

5. Eigenめっちゃ難しいやん・・・
[bazel-tensorflow/external/eigen_archive/unsupported/Eigen/CXX11/src/Tensor/TensorDevice.h]
template <typename ExpressionType, typename DeviceType> class TensorDevice {
public:
TensorDevice(const DeviceType& device, ExpressionType& expression) : m_device(device),
m_expression(expression) {}
template<typename OtherDerived>
EIGEN_STRONG_INLINE TensorDevice& operator=(const OtherDerived& other) {
typedef TensorAssignOp<ExpressionType, const OtherDerived> Assign;
Assign assign(m_expression, other);
internal::TensorExecutor<const Assign, DeviceType>::run(assign, m_device);
return *this;
}

6. 単純な
Operation
作ってみた!!

7. 今回作ったOperationの紹介
❏ Operation name “string_add”
❏ 文字列を数値として扱い、それを加算させる。(tf.addは文字列連結になります。)
❏ 特に便利という訳ではありません。勉強用にTensorFlowにないOperationを実装しました。
❏ 新規API(tf.string_add)で呼び出せる。
❏ Eigenではなく、組み込み演算子で実装。
❏ ソースコード公開します。
❏ GitHub(stakky/tensorflow)
❏ ビルド方法など環境構築に関しては”付録”スライドを参照してください。
❏ おまけも作りました。(説明は省略します。)
❏ “hello” ：”Hello”と叫ぶだけです。
# tf.add の実行例
>>> a = tf.constant("3")
>>> b = tf.constant("4")
>>> c = tf.add(a,b)
>>> tf.Session().run(c)
'34' これを7にしたい!!

8. Operation概要
❏ TensorFlowの計算グラフは主に以下の2つから構成される。
❏ node：TensorFlowにおけるOperation
❏ edge：TensorFlowにおけるTensor
❏ Operationでは、Tensorを入出力にして計算が実行される。
参考：https://www.tensorflow.org/guide/low_level_intro#graph
node = Operation
edge = Tensor

9. Operation登録(REGISTER_OP)
❏ TensorFlowでOperationを実装するには、まずOpRegistryへの登録が必要。
❏ REGISTER_OPマクロを使用すれば OK
❏ “string_add”は、2入力1出力のoperationとして登録してみた。
REGISTER_OP("StringAdd")
.Input("x: string")
.Input("y: string")
.Output("z: int32")
//(snipping some lines)
});
参考：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/framework/op.h#L180-L199

10. OpKernel概要
❏ OpKernelとは、Operationが持っている実行コードである。
❏ OpKernelは各device(or data_type, etc...)ごとに最適化されている。
参考：https://www.tensorflow.org/guide/extend/architecture#kernel_implementations
Kernel Implementations
The runtime contains over 200 standard operations including mathematical,
array manipulation, control flow, and state management operations. Each of
these operations can have kernel implementations optimized for a variety
of devices.

11. OpKernel登録(REGISTER_KERNEL_BUILDER)
❏ TensorFlowでOpKernelを実装するには、まず登録が必要。
❏ 実装するclass名とdeviceの指定が必要。
❏ class名はStringAddOpとし、deviceはCPUとした。
REGISTER_KERNEL_BUILDER(Name("StringAdd")
.Device(DEVICE_CPU), StringAddOp);
参考：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/framework/op_kernel.h#L1281-L1305

12. OpKernel::Compute()
❏ OpKernelの計算が実装されるメソッド。
❏ REGISTER_KERNEL_BUILDERマクロで指定したclassで実装する。
❏ Eigenを使用せず、c++組み込み演算子で実装しました。
❏ 文字列からint型の変換など、詳細は GitHubを参照して下さい。
参考：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/framework/op_kernel.h#L93-L110
class StringAddOp : public OpKernel {
Public:
void Compute(OpKernelContext* context) override {
//(snipping some lines)
for (int64 i = 0; i < N; i++) {
output_data[i] = input0_data[i] + input1_data[i];
}
LOG(INFO) << "tfinternal!!!";
}
};

13. その他Topics(pythonAPI, BUILD, etc...)
❏ 新規pythonAPIを生成するには以下の手順が必要です。
❏ “tensorflow/core/api_def/update_api_def.sh”を実行する。
❏ “api_def*.pbtxt”が生成されていることを確認する。
❏ “--nouse_action_cache”のオプションを付けて buildする(clean buildが必要のようです)
[tensorflow/core/api_def/update_api_def.sh]
# Script to create tensorflow/core/api_def/base_api/api_def*.pbtxt
# files for new ops.
set -e
current_file="$(readlink -f "$0")"
current_dir="$(dirname "$current_file")"
bazel build //tensorflow/core/api_def:update_api_def
bazel-bin/tensorflow/core/api_def/update_api_def
--api_def_dir="${current_dir}/base_api"
--op_file_pattern="${current_dir}/../ops/*_ops.cc"

14. 実行結果

15. 今後
❏ 勉強用に簡単な実装をすることで、内部構造の理解を深めていきたい。
❏ せっかくなので、今回のように TensorFlowにまだ実装されていない機能を実装してみたい。
❏ 次回のネタはまだ考え中です。
❏ 次回のネタ候補
❏ control flow operations
❏ gradient operations
❏ GPU operations
❏ EIGEN library
❏ operation control(executor)
❏ executor control(session)

16. 付録：環境構築
❏ ビルド手順
❏ 基本的には公式ページ通りにすればできます。
❏ gccとbazelのversionに注意が必要です。
❏ 参考：https://www.tensorflow.org/install/source#tested_build_configurations
❏ ビルドマシン環境
❏ かなりリソース食います。 (メモリ少ないと落ちるかも )
❏ GCPなどのcloud instanceを試してみるのもありかもしれません。
❏ 参考：https://cloud.google.com/compute/