Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to JVM上で動くPython処理系実装のススメ
Similar to JVM上で動くPython処理系実装のススメ (16)
JVM上で動くPython処理系実装のススメ
- 1. JVM上で動く Python処理系実装のススメ yotchang4s JJUG CCC 2017 Fall 2017/11/18
- 2. お前誰よ ❖ yotchang4s (よっちゃん) ➢ 澁谷 典明 (Yoshiaki Shibutani) https://twitter.com/yotcang4s ❖ Python歴 ➢ 6ヵ月くらいの初心者 ❖ 所属 ➢ 株式会社エフ・コード ギョームでScala書いてますフゥー
- 6. 開発の動機 1. PyCon JP 2017にCfPを出そう！ 2. Jythonの近況を調査してそれを発表しよう！ 3. えっ2015年から更新が止まっている。。。 4. Python 3にも対応していない。。。 5. ならば…
- 9. Pythonの特徴 ブロックはインデントで表現する。 誰が書いても同じようなコードになる。 ※異論は認める The Zen of Pythonの思想。REPLで以下を実行すると見ることが出来る。 $ python >>> import this The Zen of Python, by Tim Peters Beautiful is better than ugly. Explicit is better than implicit. Simple is better than complex. …
- 10. Pythonの基礎知識(1/6) ● ブロックはインデントで表現 ● クラス定義は「class」 ● メソッド定義は「def」 ● コンストラクタは「__init__」
- 11. Pythonの基礎知識(2/6) ● クラスの継承は >>> class Dog(Animal): と書く ● 多重継承が可能 メソッド解決順序(MRO)はC3アルゴリズ ムに従うためダイヤモンド継承も可能
- 12. Pythonの基礎知識(3/6) ● メソッドの第一引数には自分自身のオブ ジェクトが渡ってくる ● 慣習的に「self」という名前にする。 ● Javaのthisキーワードは存在せず、明 示的に扱う ようするにPythonのメソッドはオブジェク トを束縛した関数なので >>> Dog.say(animal) とも書ける
- 14. Pythonの基礎知識(5/6) ● 全てはオブジェクト ● 関数もメソッドもオブジェクト >>> say = Dog.say >>> say(animal) も可能
- 15. Pythonの基礎知識(6/6) ● __xxx__は特殊メソッドでありランタイム やコード上で特別扱いされる。 ● Callableという概念があり__call__があ るオブジェクトは呼び出し可能。 ● >>> animal = Dog("ポチ") はDogの__call__を呼んでいる。 Dogの__call__ではオブジェクトの生成 や__init__の呼び出しが行われる。 ● 意味的にはオブジェクトの生成も関数呼 び出しもメソッド呼び出しもすべて統一し て扱える。
- 16. Pythonの特徴まとめ ● ブロックはインデントで表す ● 動的型付け ● シンプルな言語仕様 ● 特殊メソッドによる統一的な操作
- 17. Pythonが動くざっくりとした仕組み 1. ソースコードを字句解析して字句のストリームを作る 2. 字句のストリームから構文解析をして抽象構文木(AST)を作る 3. 抽象構文木をevalする(単純なインタプリタ) (CPythonだとバイトコードを生成してVMで動かす)
- 25. 具象構文木を作るには？(3/4) cafebabepyのGrammarの一部分 file_input : ( NEWLINE | stmt )* EOF; stmt: simple_stmt | compound_stmt; simple_stmt : small_stmt (SEMI_COLON small_stmt)* SEMI_COLON? NEWLINE; ... スタート 改行とstmt(文)が0個以上ありEOFがある 文とは simple_stmtかcompoud_stmt のどちらか1つ simple_stmtとは small_stmtの次に「;」とsmall_stmtが0個以上あり、「;」が 0個または1個あり、改行がある つまり「;」で区切ると1行に複数文を書ける
- 26. 具象構文木を作るには？(4/4) 出来上がった具象構文木 コード # test test def test(a): return 1
- 27. cafebabepy開発の歴史(創世記) 2017年5月13日 清水川さん(@shimizukawa)等々から 色々教えて貰うようになった。 MRO(メソッド解決順序)を知る。 mroをmiro...
- 34. cafebabepy開発の歴史(創世記) 2017年6月3日 関数もオブジェクトであり変数を生やす ことができることが判明。とても動的。 def hoge(): pass hoge.huga = 1 ←変数を生やせる！
- 42. 抽象構文木を作るには？(1/2) 具象構文木をVisitorパターンで巡って抽象構文木(AST)を作成する。 ANTLR側で構文ルールに従ったVisitorが作成されるので visitXXXメソッドをオーバーライドする。 ASTはPythonの世界で構築している。ランタイムで各ASTクラスのオブジェクト (PyObject)を作って後続に渡している。 PythonのASTはドキュメント化されている。 32.2.2. 抽象文法 (Abstract Grammar) https://docs.python.jp/3/library/ast.html#abstract-grammar
- 48. cafebabepy開発の歴史(出エジプト記) 2017年6月22日 Pythonの比較はJavaと違い 1 < 2 < 3が許されることを知る。 Python処理系を実装することによっ てPythonの仕様を知るという目的通 り。
- 49. cafebabepy開発の歴史(出エジプト記) 2017年6月23日 1 < 2 < 3がPythonで許されることが わかったが実装するにはどうすれば いいのかを思考。 1 < 2 && 2 < 3 になるように実装した。 言語処理系の実装はこういった パズルのような側面もある。
- 50. cafebabepy開発の歴史(出エジプト記) 2017年6月24日 if elif else を実装。 プログラミング言語っぽくなってきた。
- 56. cafebabepy開発の歴史(出エジプト記) 2017年6月30日 1つの目標であるフィボナッチ数列の 計算ができるようになった。 これでプログラミング言語の処理系と 呼べるぐらいにはなった。 が、実は項が1つズレており、 if n > 2: return fib(n - 1) + fib(n - 2) が正解。
- 62. cafebabepy開発の歴史(民数記) 2017年7月11日 リスト内包表記の実装を開始。 Pythonといったらリスト内包表記とい う思いもあった。 CPythonで実行すると [1, 2, 3, 4, 5, 6, 7, 8, 9] が出来上がる。
- 64. cafebabepy開発の歴史(民数記) 2017年7月11日 リスト内包表記を実装。 多重forでも動いている。 フィルターも動いている。 ここら辺はif文等を実装した時のの応 用。まさにパズル。
- 65. cafebabepy開発の歴史(民数記) 2017年7月13日 リスト内包表記だけでfizzbuzzする 変態コードも動く。 fizzbuzz = [('fizzbuzz' if x % 15 == 0 else ('fizz' if x % 3 == 0 else ('buzz' if x % 5 == 0 else x))) for x in range(1, 101)] for x in fizzbuzz: print(x) はい、意味わかりませんね！
- 67. cafebabepy開発の歴史(民数記) 2017年7月14日 Python mini Hack-a-thon夏山合宿 にて REPL(Read Eval Print Loop) の実装をした。 jlineを使って1行読み込んでパースし てASTを作ってevalしているだけ。
- 68. cafebabepy開発の歴史(民数記) 2017年7月16日 1行ずつ処理する単純なREPLはで きたが、複数行に渡る処理が実行で きない。 >>> if 1 < 2: . . . print(3) ここが複数行 . . . 3 >>>
- 72. 字句解析器から構文解析器へのストリーム 字句解析器 (Lexer) if 1 == 1 : <NEWLINE> <INDENT> print ( "hello" <DEDENT> <NEWLINE> 構文解析器 (Parser) if 1 == 1: print("hello") ) ポイントは論理的な字句である<INDENT>と<DEDENT>。 Pythonでは字句解析でインデントの始まりと終わりを作る。
- 74. 入力があった場合、パースする。成功したらそのままASTを作成してevalする。 パスに失敗したら検証パースを行う。検証パースに成功したら第二プロンプトを表示し て終了。検証パースにも失敗したら構文エラー。 検証パースではREPLを通すために条件を緩くしている。 通常Parser single_input: NEWLINE | simple_stmt | compound_stmt NEWLINE; suite: simple_stmt | NEWLINE INDENT stmt+ DEDENT; simple_stmt: small_stmt (SEMI_COLON small_stmt)* SEMI_COLON? NEWLINE; 検証Parser single_input: NEWLINE | simple_stmt | compound_stmt NEWLINE? EOF; suite: simple_stmt | NEWLINE (EOF | DEDENT+ EOF | INDENT stmt+ (DEDENT | EOF)); simple_stmt: small_stmt (SEMI_COLON small_stmt)* SEMI_COLON? (NEWLINE | EOF); 第二プロンプトに対応したREPLの仕組み(1/2)
- 75. 第二プロンプトに対応したREPLの仕組み(2/2) if 1 < 2: NEWLINE→通常NG 検証OK INDENT print(3) NEWLINE→通常NG 検証OK DEDENT NEWLINE→通常OK
- 77. ターミナルで動かしてみる
- 79. 動かしてみるかも？(デモ) if 1 == 1: print("hello")
- 80. 動かした結果
- 81. 今後の展望 ● Python 3の文法を全て実装 ● 速度改善 ○ invokedynamic命令を使った高速化 ○ リフレクションを極力少なく ● PythonのコードからJavaのコードを実行 ● C拡張の実行 ○ NumPyとかSciPyがJavaから呼べるとアツい。 ○ JRubyで出来ていそうなので参考にできるか？
- 83. さぁ言語処理系を作ってみよう！
- 84. ご静聴ありがとうございました。