Download as PDF, PPTX
![まずは、BUILDファイル
aot/BUILD
cc_binary(
name = "tfcompile",
visibility = ["//visibility:public"],
deps = [":tfcompile_main"],
)
tfcompile_main](https://image.slidesharecdn.com/tensorflowxla-aot-170320015748/85/TensorFlow-XLA-AOT-15-320.jpg)
![tfcompile_main
aot/BUILD
cc_library(
name = "tfcompile_main",
srcs = ["tfcompile_main.cc"],
visibility = ["//visibility:public"],
deps = [
":tfcompile_lib",
":tfcompile_proto",
…..
],
)
tfcompile_main.cc](https://image.slidesharecdn.com/tensorflowxla-aot-170320015748/85/TensorFlow-XLA-AOT-16-320.jpg)
![tfcompile_main.cc
引数の処理
tensorflow::string usage = tensorflow::tfcompile::kUsageHeader;
usage += tensorflow::Flags::Usage(argv[0], flag_list);
bool parsed_flags_ok = tensorflow::Flags::Parse(&argc, argv, flag_list);
tensorflow::port::InitMain(usage.c_str(), &argc, &argv);
tensorflow::tfcompile::Main(flags);
return 0;
}](https://image.slidesharecdn.com/tensorflowxla-aot-170320015748/85/TensorFlow-XLA-AOT-18-320.jpg)
Uploaded byMr. Vengineer
TensorFlow XLA : AOT編 チラ見版
TensorFlow XLAのコード解析をしました。 この資料は、TensorFlow XLAのAOT部分に関するものです。 I analyzed the code of TensorFlow XLA. This document pertains to JIT part of TensorFlow XLA.
TensorFlow XLA : AOT編 チラ見版
- 1.
- 2. 勉強会主催 : Xilinx ZynqMPSoC (2016/02/20) Altera SDK for OpenCL (2016/06/10) Xilinx SDSoC (2017/01/28) PYNQ祭り (2017/03/04) FPGAディープラーニング実践懇親会 (2017/05/20) ブログ : Vengineerの戯言 http://blogs.yahoo.co.jp/verification_engineer Twitter : ＠Vengineer 書籍 : SystemVerilogスタートアップ http://www.cqpub.co.jp/hanbai/books/36/36191.htm 自己紹介
- 3. TensorFlow XLAとは https://www.tensorflow.org/performance/xla/ XLA(Accelerated LinearAlgebra)は、TensorFlow計算を最適化 する線形代数のドメイン固有のコンパイラです。 結果として、サー バーおよびモバイルプラットフォームでの速度、メモリ使用率、移植性 が向上します。 当初、ほとんどのユーザーはXLAの大きなメリットは 見られませんが、JIT(Just-In-Time)コンパイルや AOT(Ahead-Of-Time)コンパイルを使用してXLAを使用することで 実験を開始できます。 新しいハードウェアアクセラレータをターゲット とする開発者は、XLAを試すことを特にお勧めします。 原文(英語)をそのまま、Google翻訳にお願いしました。
- 4.
- 5. 簡単にまとめると TensorFlow XLAでは、次の2つをサポートした 1)、JIT (Just-In-Time)コンパイル ただし、単一マシンのみで、GPUは1つ 2)、AOT (Ahead-Of-Time) コンパイル CPUのみ x86/x86-64/ARM/AARCH64/PowerPC
- 6.
- 7. Using AOT compilation https://www.tensorflow.org/performance/xla/tfcompile ・tfcompileって、何？ ・tfcompileは、何をする？ ・tfcompileを使うには！ 現時点（TensorFlowr1.0) では、AOTのターゲットは CPU(x86/x86-64/ARM/ARM64/PowerPC)のみサポート。
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. まずは、BUILDファイル aot/BUILD cc_binary( name = "tfcompile", visibility= ["//visibility:public"], deps = [":tfcompile_main"], ) tfcompile_main
- 16. tfcompile_main aot/BUILD cc_library( name = "tfcompile_main", srcs= ["tfcompile_main.cc"], visibility = ["//visibility:public"], deps = [ ":tfcompile_lib", ":tfcompile_proto", ….. ], ) tfcompile_main.cc
- 17. tfcompile_main.cc int main(int argc,char** argv) { 各種処理フラグの設定 tensorflow::tfcompile::MainFlags flags; flags.target_triple = "x86_64-pc-linux"; flags.out_object = "out.o"; flags.out_header = "out.h"; std::vector<tensorflow::Flag> flag_list; AppendMainFlags(&flag_list, &flags); xla::legacy_flags::AppendCompilerFunctorFlags(&flag_list); xla::legacy_flags::AppendCpuCompilerFlags(&flag_list); xla::legacy_flags::AppendCpuRuntimeFlags(&flag_list);
- 18. tfcompile_main.cc 引数の処理 tensorflow::string usage =tensorflow::tfcompile::kUsageHeader; usage += tensorflow::Flags::Usage(argv[0], flag_list); bool parsed_flags_ok = tensorflow::Flags::Parse(&argc, argv, flag_list); tensorflow::port::InitMain(usage.c_str(), &argc, &argv); tensorflow::tfcompile::Main(flags); return 0; }
- 19. tfcompile::Main aot/tfcompile_main.cc コンフィグファイルとグラフファイルの読み込み ReadProtoFile("config", flags.config, &config); ReadProtoFile("graph",flags.graph, &graph_def); グラフの初期化 InitGraph(graph_def, config, flags, &flib, &graph); グラフのコンパイル CompileGraph(std::move(graph), flags, &flib, &compile_result); ファイル(オブジェクト、ヘッダ)の書き出し WriteStringToFile( …., …., …. );
- 20.
- 21. ProtoFileの読み込み aot/tfcompile_main.cc if (StringPiece(fname).ends_with(".pbtxt")) { core/platform/env.cc returnReadTextProto(Env::Default(), fname, proto); } else { core/platform/env.cc return ReadBinaryProto(Env::Default(), fname, proto); }
- 22. グラフの初期化 aot/compile.cc : InitGraph 新しいグラフを生成 std::unique_ptr<Graph>g(new Graph(flib)); GraphDef copy_def(graph_def); AddDefaultAttrsToGraphDef(©_def, *g->op_registry(), 0); グラフ定義(GraphDef)からグラフに変換 ConvertGraphDefToGraph(GraphConstructorOptions(), copy_def, g.get()); Feed/Fetchをノード(_Arg/Retval)としてグラフに追加 RewriteAndPruneGraph(g.get(), config, flags));
- 23. グラフのコンパイル aot/compile.cc : CompileGraph TensorFlowグラフをXLA(HLO)フォーマットに変換 ConvertGraphToXla(client,std::move(graph), flib, &computation, &compile_result->has_context_arg); コンパイルオプションの設定 xla::cpu::CpuAotCompilationOptions aot_opts( flags.target_triple, flags.target_cpu, flags.target_features, flags.entry_point, xla::cpu::CpuAotCompilationOptions::RelocationModel::BigPic); XLA(HLO)をコンパイル return CompileXla(client, computation, aot_opts, compile_result);
- 24. ファイルの書き出し aot/tfcompile_main.cc:Main オブジェクトファイルの書き出し const std::vector<char>& obj= compile_result.aot->object_file_data(); WriteStringToFile(env, flags.out_object, StringPiece(obj.data(), obj.size())); CPPクラス名の解析 ParseCppClass(flags.cpp_class, &header_opts.class_name, &header_opts.namespaces)); ヘッダの生成 GenerateHeader(header_opts, config, compile_result, &header)); ファイルの書き出し WriteStringToFile(env, flags.out_header, header));
- 25.