歯磨き.go #2

Copyright © 2020 Present ANDPAD Inc. This information is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. Proprietary & Confidential 無断転載・無断複製の禁止
歯磨き.go #2
構文解析

歯磨き.goとは
Conﬁdential
Copyright © 2020 Present ANDPAD Inc. This information is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止
一過性の勉強会ではなく、少しずつ無理のない範囲で
毎日の歯磨きのように続けていくことを目的とした
ゆるふわなgo勉強会です。
（もともと社内でやってたけどスピンオフしました）

歯磨き.goとは
Conﬁdential
・社内で静的解析の勉強会を始めたので
　そのアウトプットの場になれば。会が進んできたら、　社内で
作った静的解析ツールを紹介（自慢）する場に
　なれば良いなとか
・社内だけだと閉塞感でると思うので社外の方用のLT
　枠も用意するのでぜひぜひ登壇したい方大歓迎。
　ゆるふわな会なので怖く無いよ。

自己紹介

自己紹介
Conﬁdential
山下大輔 Daisuke Yamashita
ものづくり系エンジニア 
go言語に限らずものづくりに関わる開発は
全般的に好き。 
 
毎日使う最強のツールを作るのが目標。

目次
Conﬁdential
・ANDPADの社内勉強会
・コンパイラの世界の構文解析
・静的解析の世界の構文解析
 
・静的解析を使って構文解析をして四則演算機を作る

ANDPADの社内勉強会

ANDPADの社内勉強会
Conﬁdential
tenntenn さんに週１で社内勉強会を開催い
ただいている。 
 
今の勉強会のテーマは 
「静的解析とコード生成」

今日のおしながき
Conﬁdential
今日はこのあたり
https://docs.google.com/presentation/d/1I4pHnzV2dFOMbRcpA-XD0TaLcX6PBKpls6WxGHoMjOg/edit#sli
de=id.g80ffbfd5e3_0_168

コンパイラの世界の構文解析（式の表現）

構文解析
Conﬁdential
文字列を意味のある単位に分解して、関係性を明確化すること。 
8 + 1
+
8 1

コンパイラの世界
Conﬁdential
https://www.sigbus.info/compilerbook
Ruiさんの 
「低レイヤを知りたい人のためのCコンパイラ作成入門」

Conﬁdential
① 木構造で文法構造を表現する (抽象構文木:AST) 
 
② 構文の生成規則を作成する (BNFによる記述) 
 
③ 字句解析と生成規則をアセンブリのコードに変換する

Conﬁdential
6 + 2 * 3 + 3

字句解析
Conﬁdential
6 + 2 * 3 + 3 
数値  加算  数値

抽象構文木
Conﬁdential
6 + 2 * 3 + 3 
数値  加算  数値

四則演算
Conﬁdential
6 + 2 * 3 + 3 
数値  加算  数値 
アセンブラに
落とし込む

抽象構文木の構造をコードに落とし込むテクニック
Conﬁdential
expr = mul ("+" mul | "-" mul)*
mul = unary ("*" unary | "/" unary)*
unary = ("+" | "-")? primary
primary = num | "(" expr ")"
文法の生成規則をコンパクトなルール(EBNF)で記述する 
https://www.sigbus.info/compilerbook
expr,mul,unary,primaryをコードに落とし込んでいく

静的解析の世界の構文解析（式の表現）

静的解析の世界
Conﬁdential
① go/parserパッケージでASTを取得する 
 
② ASTを辿って演算を実装する

静的解析の世界
Conﬁdential
① go/parserパッケージでASTを取得する 
 
② ASTを辿って演算を実装する 
大変なところをほぼ
やってくれる

go/parser達
Conﬁdential
parser.ParseExprFrom 
-> 式をパースする 
parser.ParseExpr 
-> 式をパースする（簡易版） 
parser.ParseFile 
-> ファイルからパースする 
parser.ParseDir 
-> ディレクトリからパースする（ParseFileを拡張）

go/parser
Conﬁdential
https://play.golang.org/p/UQjwTYeOWbB 
6 + 2 * 3 + 3
parser.ParseExpr(`6 + 2 * 3 + 3`)

go/parser
Conﬁdential
https://play.golang.org/p/NzWJYarlBLB 
(6 + 2) * 3 + 3 
parser.ParseExpr(`(6 + 2) * 3 + 3`)
木構造で 
計算の優先 
順位とかも 
考慮された 
状態

四則演算で出てくる式を表すノードを覚える
ast.Expr インターフェース 
*ast.BasicLit : 数値・文字列リテラル 
*ast.ParenExpr : ()でくくられた式 
*ast.UnaryExpr : 単項演算子 (-10とか) 
*ast.BinaryExpr : ２項演算子 (1 + 2とか)

*ast.BasicLit
package ast // import "go/ast"
type BasicLit struct {
ValuePos token.Pos // literal position
Kind token.Token // token.INT, token.FLOAT, token.IMAG, token.CHAR, or token.STRING
Value string // literal string; e.g. 42, 0x7f, 3.14, 1e-9, 2.4i, 'a', 'x7f', "foo" or `mno`
}
func (x *BasicLit) End() token.Pos
func (x *BasicLit) Pos() token.Pos

*ast.ParenExpr
type ParenExpr struct {
Lparen token.Pos // position of "("
X Expr // parenthesized expression
Rparen token.Pos // position of ")"
}
func (x *ParenExpr) End() token.Pos
func (x *ParenExpr) Pos() token.Pos

*ast.UnaryExpr
type UnaryExpr struct {
OpPos token.Pos // position of Op
Op token.Token // operator
X Expr // operand
}
func (x *UnaryExpr) End() token.Pos
func (x *UnaryExpr) Pos() token.Pos

*ast.BinaryExpr
type BinaryExpr struct {
X Expr // left operand
OpPos token.Pos // position of Op
Op token.Token // operator
Y Expr // right operand
}
func (x *BinaryExpr) End() token.Pos
func (x *BinaryExpr) Pos() token.Pos

四則演算を作っていく

go/parser
Conﬁdential
https://play.golang.org/p/NzWJYarlBLB 
(6 + 2) * 3 + 3

式を表すノードが渡されたときのロジックを考える
*ast.BasicLit : 数値を返す 
-> evaluateBasicLit() 
*ast.ParenExpr : カッコの中身は式なので再評価 
-> evaluateParenExpr() 
*ast.UnaryExpr : +,-をつけて返す 
-> evaluateUnaryExpr() 
*ast.BinaryExpr : 右辺と左辺を計算(+,-,*,/,%)して返す 
-> evaluateBinaryExpr()

evaluateExpr 大本の処理の振り分け
func evaluateExpr(expr ast.Expr) float64 {
switch e := expr.(type) {
case *ast.BasicLit:
return evaluateBasicLit(e)
case *ast.BinaryExpr:
return evaluateBinaryExpr(e)
case *ast.UnaryExpr:
return evaluateUnaryExpr(e)
case *ast.ParenExpr:
return evaluateParenExpr(e)
default:
panic("evaluateExpr error")
}
}

evaluateBasicLit
func evaluateBasicLit(basic *ast.BasicLit) float64{
switch basic.Kind {
case token.INT:
v, err := strconv.ParseInt(basic.Value,10,64)
if err != nil{
panic("int parse error")
}
return float64(v)
case token.FLOAT:
v, err := strconv.ParseFloat(basic.Value,64)
if err != nil{
panic("float parse error")
}
return v
default:
panic("BasicLit error")
}
}

evaluateParenExpr
func evaluateParenExpr(expr *ast.ParenExpr) float64{
x := evaluateExpr(expr.X)
return x
}
(1+2*3) みたいなカッコでくくられた式を評価する。 
Xにさらに*ast.Exprが入っているので再起的に評価する。

evaluateUnaryExpr
func evaluateUnaryExpr(expr *ast.UnaryExpr) float64{
switch expr.Op {
case token.ADD:
return x
case token.SUB:
return -x
default:
panic("unaryExpr error")
}
}

evaluateBinaryExpr
func evaluateBinaryExpr(expr *ast.BinaryExpr) float64{
y := evaluateExpr(expr.Y)
switch expr.Op {
case token.ADD:
return x + y
case token.SUB:
return x - y
case token.MUL:
return x * y
case token.QUO:
return x / y
case token.REM:
return float64(int(x) % int(y))
default:
panic("binaryExpr error")
}
}

実行する
Conﬁdential

まとめ

まとめ
Conﬁdential
・四則演算を通じて構文解析を理解した
・https://github.com/daisuke0131/enzan

歯磨き.go #2

Recommended

Recommended

More Related Content

Similar to 歯磨き.go #2

Similar to 歯磨き.go #2 (20)

More from Daisuke Yamashita

More from Daisuke Yamashita (12)

Recently uploaded

Recently uploaded (20)

歯磨き.go #2