Download to read offline
![#include stdio.h
#define SIZE 5
int main(void)
{
int arr[SIZE];
for (int i = 0; i SIZE; i++) {
arr[i] = i + 3;
}
for (int i = 0; i SIZE; i++) {
printf(%dn, arr[i]);
}
return 0;
}](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-11-320.jpg)
![[Front-end] Lexer - Why?
⽂法grammer: 以英⽂為例 S + V + O
辨識⽂法前，⾸先要辨識哪些字是 noun verb adj conj ...](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-25-320.jpg)
![[Front-end] Lexer - How?](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-27-320.jpg)
![[Front-end] Lexer - How?
State machine 可以⽤regular expression 取代
def tokenize(input)
scanner = StringScanner.new(input)
tokens = []
while !sanner.eos
when scanner.scan(/d+/)
tokens.push(Token.new(scanner.match.to_i, :number))
when scaner.scan(/([A-Za-z])([A-Za-z]|d|_)/
tokens.push(Token.new(scanner.match, :id))
# ...
end](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-28-320.jpg)
![[Front-end] Syntex Analyer - Why?
如果英⽂基本結構是「主詞+ 動詞+ 受詞」，⽽主詞可以往下展開為⼀
個單⼀名詞，或者有個形容詞加上名詞的組合，⽽受詞可能還可以往下
展開。例如“I love her 是個合⽂法的句⼦，⽽Fred wants to make a
lot of money 也是⼀個合法的句⼦。
⽽語法樹就是⽤來表達⼀個語句的抽象結構](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-30-320.jpg)
![[Front-end] Syntex Analyer - How?
該語⾔必須先定義好⼀個「上下⽂無關⽂法Context Free Grammar」
(簡稱CFG）。
例如我們定義好⼀個語⾔規則 A - α ，則我們不需要考慮A 的上下⽂
是在什麼情況下，都可以被替換成α，⽽幾乎所有的程式語⾔都是使⽤
CFG 來定義他的⽂法邏輯。](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-31-320.jpg)
![[Front-end] Syntex Analyer - How?
有了CFG，就可以拿它來實作parser。
Parse 的⽅式有兩種：
Top down parser : 也稱為LL parser (Left to right, Leftmost
derivation)，以遞迴的⽅式，依序從第⼀個token 開始，根據CFG
⽂法建立tree。⼈腦好懂，但使⽤的⽂法有限制。
Buttom up parse：也稱為LR parser ( Left to right, Rightmost
derivation)，使⽤了堆疊和shift reduce 的⽅式，由下⽽上的建立起
語法樹。⽀援的⽂法較多。](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-44-320.jpg)
![[Front-end] Semantic Analyzer - Why?
⽂法對，語意不⾒得對
必須根據上下⽂來判斷是否合乎該語⾔的語意，例如：
例如說某些語⾔使⽤變數必須事先宣告
不允許同樣的scope 重複宣告相同變數
不同的型別不能做某些處理（type checking）等等](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-49-320.jpg)
![[Front-end] Semantic Analyzer - How?
Symbol table](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-50-320.jpg)
![YARV(CRuby)
irb(main):004:0 puts RubyVM::InstructionSequence.compile('x=1; x + 4').disasm
== disasm: #ISeq:compiled@compiled:1 (1,0)-(1,11) (catch: FALSE)
local table (size: 1, argc: 0 [opts: 0, rest: -1, post: 0, block: -1, kw: -1@-1, kwrest: -1])
[ 1] x@0
0000 putobject_INT2FIX_1_ ( 1)[Li]
0001 setlocal_WC_0 x@0
0003 getlocal_WC_0 x@0
0005 putobject 4
0007 opt_plus callinfo!mid:+, argc:1, ARGS_SIMPLE, callcache
0010 leave](https://image.slidesharecdn.com/compiler-220202145252/85/Compiler-for-Dummy-Compiler-Interpreter-VM-73-320.jpg)
Uploaded byLi Hsuan Hung
Compiler for Dummy 一點都不深入的了解 Compiler, Interpreter 和 VM
本文件介绍了编译器、解释器和虚拟机的基本概念，包括编译和执行过程。特别提到GNU编译器集合(GCC)的工作流程和不同编程语言如何转换为目标代码。文中还讨论了虚拟机的种类及其优点，并提及了具体实现，如Java虚拟机和JavaScript引擎。
Compiler for Dummy 一點都不深入的了解 Compiler, Interpreter 和 VM
- 1.
- 2.
- 3.
- 4.
- 5. 為什麼研究這個 當初聽不太懂這個Virtual Machines: theircommon parts and what makes them special CRuby written in C? JRuby written in Java? 了解基礎可以知道語⾔的特性與限制
- 6.
- 7. Outline 介紹⼀下GCC Compiler 怎麼Compile What isVirtaul Machine 延伸閱讀和參考資料
- 8. GCC GNU tool chain 全名是GNU編譯套裝( GNU Compiler Collection )，是許多*nix 系統如Linux 或BSD 官⽅的編譯器。起初GCC 只能編譯C 語⾔， 後來也可⽀援C++ 等多種語⾔。 “ “ GNU 編譯器中從編譯/組譯/連結的⼀整套⼯具，基本上gcc 指令可 以完成⼀整套的⼯作 “ “
- 9.
- 10. Prerocessor 預處理器 就是處理那些開頭有# 的東⻄。 例如#include #if #define ，把這些東⻄預先展開或者移除掉
- 11. #include stdio.h #define SIZE5 int main(void) { int arr[SIZE]; for (int i = 0; i SIZE; i++) { arr[i] = i + 3; } for (int i = 0; i SIZE; i++) { printf(%dn, arr[i]); } return 0; }
- 12. Compiler 編譯器 廣義來說Compiler 是為了產出⽬標碼Objectcode GCC compiler 產出是組合語⾔Assembly code GCC lifecycle 的object code 其實是指機器碼。 Compiler 會分成前中後段腿庫，後⾯會詳細說明
- 13. Assembler 組譯器 就是把組合語⾔變成機械碼 舉例： MOVAH 09 to 00010010 。 組合語⾔比較貼近機械碼的結構。 機械碼- 組合語⾔，叫做「反組譯」（Disassembly ）。
- 14. Linker 連結器 光有⽬標碼還不能⽤ Linker 負責把相關的library摻再⼀起變成執⾏檔Executable
- 15. Executable 執⾏檔 正常⼈類看不懂 也叫做原⽣碼Native code 因為不同CPU會使⽤不同的指令集，所以可以執⾏的native code 也 不⼀樣 CISC: x86/ amd64 RISC: MIPS/SPARC/ARM
- 16. GCC ⼩結 C 程式碼到變成執⾏檔總共會經過三⼤步驟 gcc事實上不是C Compiler，⽽Compiler Driver gcc 可以當compiler, 也可以當preprocessor, 也能當assembler, 也 可當linker 關於GNU toolchain 的⼀些細節，可以參考這裡
- 17.
- 18. ref: From Sourceto Binary: How A Compiler Works: GNU Toolchain 回到編譯器的設計，由於早期硬體限制很多，其實是不可能直接實 做出⾼階語⾔的編譯器，相反的，早期的⼯程⼈員必須漸進地開發 相關的⼯具的程式，所以你可以想像最早⼈們⽤機械碼拼湊出簡單 的assembler，然後在這之上發展了簡單的C compiler，之後再⽤ 這個C compiler 開發出更完整的C compiler，後者可以編譯更完整 的C 語⾔程式，然後逐步延展下去。 “ “
- 19.
- 20. 簡單解釋⼀下Compiler 在幹嘛... 廣義的Compiler ，其實就是把⼀種語⾔（sourcecode）轉換成另⼀種 語⾔（object code）的⼯具。 「通常」這個轉換的⽬標語⾔都會是比較低階的語⾔。
- 21. 簡單解釋⼀下Compiler 在幹嘛... c compiler編譯出的⽬標碼就是組合語⾔Assembly language Java Compiler (javac) ⽬標碼是Java Byte Code，然後就可以在各個 機器上的Java 虛擬機器JVM 執⾏ WebAssembly 也是⼀種⽬標碼 除了JavaScript 以外，可以在browser 執⾏的語⾔ ⽬前已經有C / C++ / Rust / Go to WebAssembly 的compiler
- 22.
- 23.
- 24.
- 25. [Front-end] Lexer -Why? ⽂法grammer: 以英⽂為例 S + V + O 辨識⽂法前，⾸先要辨識哪些字是 noun verb adj conj ...
- 26. 程式語⾔會定義好lexical grammer：例如數字、運算⼦、保留字等等 Lexer 負責⽤lexicalgrammer 切出token
- 27.
- 28. [Front-end] Lexer -How? State machine 可以⽤regular expression 取代 def tokenize(input) scanner = StringScanner.new(input) tokens = [] while !sanner.eos when scanner.scan(/d+/) tokens.push(Token.new(scanner.match.to_i, :number)) when scaner.scan(/([A-Za-z])([A-Za-z]|d|_)/ tokens.push(Token.new(scanner.match, :id)) # ... end
- 29.
- 30. [Front-end] Syntex Analyer- Why? 如果英⽂基本結構是「主詞+ 動詞+ 受詞」，⽽主詞可以往下展開為⼀ 個單⼀名詞，或者有個形容詞加上名詞的組合，⽽受詞可能還可以往下 展開。例如“I love her 是個合⽂法的句⼦，⽽Fred wants to make a lot of money 也是⼀個合法的句⼦。 ⽽語法樹就是⽤來表達⼀個語句的抽象結構
- 31. [Front-end] Syntex Analyer- How? 該語⾔必須先定義好⼀個「上下⽂無關⽂法Context Free Grammar」 (簡稱CFG）。 例如我們定義好⼀個語⾔規則 A - α ，則我們不需要考慮A 的上下⽂ 是在什麼情況下，都可以被替換成α，⽽幾乎所有的程式語⾔都是使⽤ CFG 來定義他的⽂法邏輯。
- 33. 最常⾒的CFG 是Backus NormalForm（簡稱BNF）
- 34.
- 35. Input token 2 *( 3 + 7 ) Rule (CFG) Expr - (Expr) Expr - Num Expr - Num Op Expr
- 36. 2 * (3 + 7 ) Current Next 2 * matched role: Expr - Num Op Expr
- 37. * ( 3+ 7 ) Current Next * ( matched role: Expr - Num Op Expr Expr - ( Expr )
- 38. ( 3 +7 ) Current Next ( 3 matched role: Expr - ( Expr )
- 39. 3 + 7) Current Next 3 + matched role: Expr - Num Op Expr
- 40. + 7 ) CurrentNext + 7 matched role: Expr - Num Op Expr
- 41. 7 ) Current Next 7) matched role: Expr - Num Expr - (Expr)
- 42. ) Current Next ) matched role: Expr- (Expr )
- 43.
- 44. [Front-end] Syntex Analyer- How? 有了CFG，就可以拿它來實作parser。 Parse 的⽅式有兩種： Top down parser : 也稱為LL parser (Left to right, Leftmost derivation)，以遞迴的⽅式，依序從第⼀個token 開始，根據CFG ⽂法建立tree。⼈腦好懂，但使⽤的⽂法有限制。 Buttom up parse：也稱為LR parser ( Left to right, Rightmost derivation)，使⽤了堆疊和shift reduce 的⽅式，由下⽽上的建立起 語法樹。⽀援的⽂法較多。
- 45.
- 47. Parser Generator 這個技術很成熟不⽤⾃幹 只要定義好CFG，交給parser generator產⽣parser 就好 Bison: Bash、Go、ZendEngine(php)、CRuby ANTLR: Java、Groovy
- 48.
- 49. [Front-end] Semantic Analyzer- Why? ⽂法對，語意不⾒得對 必須根據上下⽂來判斷是否合乎該語⾔的語意，例如： 例如說某些語⾔使⽤變數必須事先宣告 不允許同樣的scope 重複宣告相同變數 不同的型別不能做某些處理（type checking）等等
- 50. [Front-end] Semantic Analyzer- How? Symbol table
- 51.
- 52.
- 54. Interpreter 只要有AST 就可以執⾏了 Ruby、Python 和PHP早期也都是直譯器 可以參考這裏來⾃幹⼀個interpreter
- 55.
- 56.
- 57.
- 59. Front-end 以外都是Back-end 不要計較那麼多 如果你最終⽬標碼只是個像是WebAssembly這種不相依於平台的語 ⾔，那Middle-end 和Back-end 可以視為同個階段就好。 Java 裡⾯的⽬標碼稱之為Java ByteCode，這個byte code 你可以說 是⼀個IR，也可以說是Javac 的Object code 你喜歡怎麼叫都可以
- 60.
- 61. System Virtual Machine ref:devkube.blogsopt.com
- 62. Procces Virtaul Machine Designedto run your program in a platform-independent environment Application Virtualization 就是本次要講的主題之⼀，以下的VM 都是指這個
- 63. Virtual Machine Ruby、Python、JavaScript、PHP 早期都⽤Interpreter，效能不好 以上改成vm效能就變好，⽽且還造成了JavaSript 統⼀世界
- 64. Virtual Machine 在各種平台上實作，做幾個平台就可以跨幾個平台 編譯成IR (Bytecode)後，就由vm執⾏ 不會產⽣native code VM 效能會比Interpreter 好很多（產⽣IR 後會優化）
- 65. 幾個常⾒的Virtual machine Ruby (cruby):Yarv(after ruby 2.0) CPython PHP: Zend Engine, HHVM (Facebook) Java: JVM, Dalvik (Andriod) JavaScript: V8, JavaScriptCore (apple), SpiderMonkey (mozilla)
- 66.
- 67.
- 68.
- 69.
- 70. Register Based Bytecode 這種bytecode比較像是處理器在操作暫存器（register）運算的⽅式 比較貼近當代的cpu 架構，所以也可以對register 的利⽤做⼀些優化 例如Zend Engine（PHP），Dalvik（Java）
- 71. Zend Engine ?php $hi ='hello'; echo $hi; ? opnum line opcode op1 op2 result 0 2 ZEND_FETCH_W hi '0 1 2 ZEND_ASSIGN '0 hello '0 2 3 ZEND_FETCH_R hi '2 3 3 ZEND_ECHO '2 4 5 ZEND_RETURN 1
- 72. Stack Based Bytecode 這種bytecode 的結構指令比較短 ⽤堆疊的⽅式處理指令 例如YARV(Ruby，JVM (Java)
- 73. YARV(CRuby) irb(main):004:0 puts RubyVM::InstructionSequence.compile('x=1;x + 4').disasm == disasm: #ISeq:compiled@compiled:1 (1,0)-(1,11) (catch: FALSE) local table (size: 1, argc: 0 [opts: 0, rest: -1, post: 0, block: -1, kw: -1@-1, kwrest: -1]) [ 1] x@0 0000 putobject_INT2FIX_1_ ( 1)[Li] 0001 setlocal_WC_0 x@0 0003 getlocal_WC_0 x@0 0005 putobject 4 0007 opt_plus callinfo!mid:+, argc:1, ARGS_SIMPLE, callcache 0010 leave
- 75.
- 76.
- 77.
- 78. Ruby Implementations(1) CRuby JRuby Rubinius - C++/ LLVM (1)(2) 拿到錘⼦的我想在微控制器上⾯執⾏Ruby (1)
- 79. 參考資料 ⼀點都不深入的了解Compiler、Interpreter 和VM 裡⾯有⼤秘寶 Compiler入⾨筆記 c9s Virtual Machine C 編譯器入⾨～想從低階系統從⾃幹編譯器開始