2019/04/22 Deep Learning JP: http://deeplearning.jp/hacks/

1. [DL Hacks] Code Representation by Neural Network
and Abstract Syntactic Tree Paths
2019 / 04 / 22
Takuya MATSUDATE, @m3yrin

2. 緒言

3. Abstract
● プログラムコード 機能的な情報を埋め込む手法(code2vec, code2seq) 紹介
● プログラムコード Syntacticな情報を抽象構文木(AST) パス 集合で表現
● (code2vec) 類似性をとらえたベクトルを生成できた
● (code2seq) 同一 コード要約(Java)とコードキャプショニング(C#) 両方で先行研究
を超えた

4. Paper Info 1
Title
“code2vec: Learning Distributed Representations
of Code” (POPL 2019)
Author
Uri Alon (Technion), Meital Zilberstein (Technion),
Omer Levy(Facebook AI Research), Eran Yahav(Technion)
Links
Arxiv : https://arxiv.org/abs/1803.09473
Demo etc. : https://code2vec.org/
Implementation : https://github.com/tech-srl/code2vec

5. Paper Info 2
Title
“code2seq: Generating Sequences from
Structured Representations of Code” (ICLR 2019)
Author
Uri Alon (Technion), Shaked Brody (Technion),
Omer Levy(Facebook AI Research), Eran Yahav(Technion)
Links
Arxiv : https://arxiv.org/abs/1808.01400
Demo etc. : https://code2seq.org/
Implementation : https://github.com/tech-srl/code2seq

6. きっかけ
構造的なテキスト 構造的な情報を扱いたい
ニューラル機械翻訳モデルにHTML 文章をそ まま突っ込んで玉砕
ほとんど 言語で使用可能なモデルで性能も良い
似た手法が続くかもしれない
Facebook Researchが別でブログ書いてた

7. 背景
やりたいこと
プログラムコードから直接 機能について 情報を得たい
(将来的に)できること
(コードを入力にした)コード検索, プログラムがI/Oを実行するか 予測,
プログラム 依存関係 予測, マルウェア判定

8. 共通

9. 手法
課題
ニューラル機械翻訳(Neural Machine Translation; NMT)で 、
プログラムコード 規約を元に分析する 難しい
トークン 羅列・学習が大変
→ 構造的な情報も一緒に埋め込んであげれ いい

10. 抽象構文木(Abstract Syntactic Tree; AST)
プログラムコードを抽象構文木(Abstract Syntactic Tree; AST)で表現して
パス情報を埋め込む
？

11. 抽象構文木(Abstract Syntactic Tree; AST)
？？
つづく ...
code2vec 論文より

12. 抽象構文木(Abstract Syntactic Tree; AST)
… つまり
終端ノード(Terminals)
演算 引数が入る
ユーザが任意に決める
非終端ノード(Nonterminals)
演算 種類が入る
全362種類
言語依存 表現を除去
& 木構造化
Java AST

13. ASTパス
ASTパス
2つ 終端ノード( ) + 間 非終端ノード( ) 列
“remaining”
Method Call
Expr
Binary Expr :
LE
“0”
例え ...

14. ASTパスによるコード表現
生成できるASTパス 集合
↓ (code2vec, code2seq)
Code Representationとして使える!
x_1 = v1 v2 v3 v_l1...
x_i = v1 v2 v3 v_li...
x_k = v1 v2 v3 v_lk...
:
:
AST

15. 記法に対する頑健性
やってること 同じだが記法が違う
ニューラル機械翻訳モデルで 類似をうまく見れない

16. 記法に対する頑健性
ASTパスで表すと、類似性をうまく抽出できる（ ず）

17. 言語間 拡張性
ASTに変換できてしまえ 、ど 言語でも使用できる
(言語固有 モデルで ない）
https://github.com/tech-srl/code2seq

18. code2vec: Learning Distributed Representations of Code

19. code2vecで Code Representation
手法 : 2つ Embedding Matrixで単純に分散ベクトルを作成しConcat
x_i = v1 v2 v3 v_li...
Code vector :
FC
Attention

20. タスク(Code Summarization)
Code SummarizationでEmbedding Matrixをトレーニングする
入力 : Javaメソッド本文 出力 : メソッド名

21. モデル
とってもシンプル

22. 学習データ
Github Javaで開発されたプロジェクトから収集
データ 著者等によって公開されている
https://github.com/tech-srl/code2ve
c

23. 定量的な評価(code2vec)
後述 (code2seqと一緒に)

24. 注意重みによる推論 解釈性
ASTパスに対する注意重みによって、
ど パスが推論に重要だったかを知ることができる

25. 学習された埋め込みによる性質
学習されたあるコードベクトル 、（コサイン距離などで）最も近いベクトルを探すと意味的に似
た名前を含む(word2vecと同じ)
ベクトル 加減算が意味的な追加や削除に対応
⬆ B - A + C ≒ D だったと こと

26. モデル 限界
新出 ラベルに対応できない
予測できるメソッド名 トレーニング時に現れたラベル み
比較的大規模なデータが必要
モデル 学習中に現れたシンボルごとに埋め込みを行う で、埋め込み行列 大きくなってしまう
変数名へ 依存
難読化・敵対的な命名に対して脆弱

27. code2seq: Generating Sequences from
Structured Representations of Code

28. code2vecで Code Representation
code2veqと 違い Encoder部分

29. Token Representation
終端ノード Subtokenに分割して埋め込み
“arrayList”
[“array”, ”list”]
E”array” + E”list”
Camel case 等 規
則に照らして分割
分割した単語ごとに埋
め込み & 集約

30. Path Representation
非終端ノード 系列としてLSTMで埋め込み

31. Combined Representation
非終端ノードと終端ノード 埋め込みベクトルをconcat
v1 v2 v3 v_l1.
.
.v1 v2 v3 v_li.
.
.v1 v2 v3 v_lk
zk
Combined Repr.AST Path
h0
Decoder Initial Stat
Decoder LSTM
Attention Weight

32. タスク
2つ タスク・2つ 言語でトレーニング・評価
• Code Summarization
→ Javaで メソッド名 推測、Code2vecと同じ
• Code Captioning
→ C# コードから、自然言語 説明文を与える。データ CodeNNデータセット
Summarizing Source Code using a Neural Attention Model
https://www.aclweb.org/anthology/P16-1195

33. 評価(Code Summarization)
Baselineモデル 、データセットで再トレーニングしたスコア
すべて データセットでスコアが改善

34. 評価(Code Captioning)
Baselineモデル 、データセットで再トレーニングしたスコア
すべて データセットでスコアが改善

35. 実装

36. 実装
著者実装
code2vec : https://github.com/tech-srl/code2vec
code2seq : https://github.com/tech-srl/code2seq
どちらもTensorflow実装
再現実装
code2vec : いくつか存在 (Pytorchによる実装もある)
code2seq : 実装しました

37. 著者実装(code2seq)
基本的に seq2seqと同じ。著者実装 比較的読みやすい。
tech-srl/code2seq/model.py

38. 再現実装(code2seq)
https://github.com/m3yrin/code2seq
PyTorchを使用して再現実装をしました
seq2seqをベースにEncoder部分をAST Pathを埋め込めるように実装
まだ不安定 & 大きい計算機欲しい..

39. Link
● プログラムコード 分散表現を作る(code2vec)
https://qiita.com/m3yrin/items/b7b11ec2c7d045d07efb
● プログラムコード 機能情報を獲得するニューラルネットワークを作る
(code2seq)
https://qiita.com/m3yrin/items/85e01cfabe53c173df33