PyPy 紹介

- Python による Python 実装 - 2011/11/11 pypy-ja 闇の軍団団員しょうま(@shomah4a)

やること● PyPy ってなに?● Python 処理系としての PyPy● 歴史的なお話● もう一つの PyPy● RPython ツールチェイン● 言語を作るには● 闇の軍団について

お前、誰よ● しょうま(@shomah4a)● Java の会社勤務 ● ていうかその会社の社内勉強会 ● 仕事では今は Python 使ってます。と思ったらそうでもなくなった ● Java とかよくわかりません● PyPy を触ってみたきっかけは、俺言語が作りたかったから● PyPy 闇の軍団の団員らしい

PyPy ってなに?

の前に

Python 使ったことある人!

PyPy がどんなものか知っている人!

PyPy をビルドしたことある人!

PyPy で処理系を作ったことがある人!

PyPy とは● http://pypy.org/● Python で作られた Python の処理系● 速いよ! ● JIT が載っていてすごく速い ● CPython の五倍くらいらしい ● ベンチマークについてはここらへんに kwsk 載っているので参照 http://speed.pypy.org/

互換性とか● 現在は Python 2.7.1 互換の処理系 ● 開発としては 3.x 対応を進めている ● 3.x 対応に向けた開発のための資金出資者募集中!!● C 拡張もそれなりに使えるけど、まだまだ ● ctypes を実装することで読めるようになっているとか ● http://readthedocs.org/docs/pypy/en/latest/extending.ht

CPython との違い● Garbage Collection が違う● CPython ● 参照カウント ● Mark & Sweep (循環参照の解放に使われる)● PyPy ● 標準は Minimark GC ● その他色々選べる ● http://readthedocs.org/docs/pypy/en/latest/garbage_collec● 細かな違いはここら辺 http://readthedocs.org/docs/pypy/en/latest/cpython_

ここまでが一般的に知られる PyPy

PyPy はこれだけじゃないんだぜ?

歴史的なお話

Psyco● さいこ● http://psyco.sourceforge.net/● PyPy の前身となるプロジェクト● PyPI で配布されているPython モジュール ● インポートすると JIT が使える ● x86 のみ対応● メインコミッターは Armin Rigo 氏

Armin Rngo

アーミンリーゴ

あーみんりーご

あーみん!

きっとこんな人に違いない!

と思って画像を探しました…

あみちゃんだと思った?

残念! ヒゲのイケメンでした!

Rigo氏は重要なので何度も言いました

プロジェクトとしての PyPy● 最初のリリース 1.0 は 2007 年半ば● 最新版は 1.6 ● もうすぐ 1.7 が出るみたい● メインコミッターはもちろんあーみん Armin Rigo 氏● Psyco の後継プロジェクト ● JITの最適化の研究(とか ● 言語そのものの研究 ● アカデミック色が強い

類似のプロジェクト● Ruby の Rubinius ● これも速いらしい ● すごいね!

PyPy の歴史● 最初は CPython と比べて 2000倍くらい遅かったらしい● 色々研究した結果● CPython の 5倍程度速くなりました!

もう一つの PyPy

俺言語を作りたいけどCとかわかんないし…

C++ は俺の嫁だし可愛いんだけど、ホント可愛いんだけど難しいし…

JVM で動く言語を作りたいけどJava とかいう言語はちょっと…!

( ﾟ∀ﾟ)o彡゜ PyPy!! PyPy!!( ﾟ∀ﾟ)o彡゜ PyPy!! PyPy!!( ﾟ∀ﾟ)o彡゜ PyPy!! PyPy!!( ﾟ∀ﾟ)o彡゜ PyPy!! PyPy!!( ﾟ∀ﾟ)o彡゜ PyPy!! PyPy!!( ﾟ∀ﾟ)o彡゜ PyPy!! PyPy!!

なんて言っているそこのアナタ!

PyPy で言語処理系を作りませんか!!

作りましょう● RPython で処理系を書きます● RPython Toolchain でバイナリを吐きます● できあがり● わぁい!

PyPy とは?● Python で Python を実装する際に使っているライブラリおよびツール群● Python のライブラリ ● EBNF, ctypes など● コンパイラ ● 型推論とか● 処理系作成 ● 基本的データ型(リストとか辞書とか) ● GC

PyPy とは● 動的言語の処理系を作るための汎用フレームワーク!● しかもフルスタックで Python なので書きやすい! ● C みたいにメモリ確保とかめんどくさい部分は PyPy が引き受けてくれたり ● dict, list みたいなリッチな組み込み型が使えたり

RPython Toolchain

RPython Toolchain とは● RPython という言語を処理するためのツールチェイン● FlowGraph, 型アノテーション, RTyper, Optimize などの工程を経て、様々なバックエンドに出力できる● バックエンドは C Binary, CLI, Python, LLVM, JVM など様々● kwsk はここらへん http://readthedocs.org/docs/pypy/en/latest/transla

RPython Toolchain● 処理系としての PyPy は RPython Toolchain を使って作られている● このツールチェインは Python を作るためだけのものではなく、汎用的に使えるので、これで俺言語とか作れちゃうよ!

例えばこんな言語: Python 以外● Prolog● Smalltalk● JavaScript● Io● Scheme● Brainf*ck● Grass● Gameboy Emulator

RPython とは● Restricted Python の略らしい● Python をバイナリコンパイルするためにいくつかの制限を設けたもの● 型システム含む動的な部分を制限し、静的型っぽくなっている● Python のサブセットなので、 RPython は Python の処理系でそのまま動く

RPython の制限● 変数は一つの型しか扱えない ● 継承関係にあればアップキャストできる● モジュールグローバル変数はすべて定数として扱われる ● 書き換えようとするとエラー● for ループは組み込み型のみ● 動的関数定義や動的クラス定義は無理● ジェネレータはサポートしない

RPython の制限● 文字列型のメソッドは大体使えるけど使えないのもある● リストは一つの型しか扱えない ● 辞書なんかも同様● クラス周り ● 後付のメソッドは不可 ● 単一継承は完全サポート ● 単純な mixin はサポート ● クラスはもちろんファーストクラスオブジェクト

RPython の制限● Python の動的な部分が結構制限されて、静的型言語っぽくなる● とはいえ Python らしい記述力は十分発揮できる● 静的型っぽいとはいえ、普通にプログラムを書いていれば、そんなにおかしな設計をしない限り動的型言語でも型を意識して静的型っぽくなるでしょう?● 詳しい仕様はこちら: http://readthedocs.org/docs/pypy/en/latest/coding-g

RPython Toolchain の工程● RPython● FlowGraph● Type Annotation● RTyper● Optimize (Optional)● Transform● Output (C Binary, CLI, LLVM, etc...)

FlowGraph● 平たくいえばフローチャート● RPython から分岐・繰り返し・関数などの処理の流れを取り出し、データ構造にしたもの● 後の工程ではこれに対して色々やる

Annotation● 型アノテーション● FlowGraph を辿って、型を全部チェックしていく ● みんな大好き型推論 ● 静的解析かも● 型チェックしてくれてエラーも出してくれるし素敵!● Erlang の Dializer みたいなやつ?● このあたりは @cocoatomo が研究中

RTyper● Annotator による型とバックエンドの型システムを繋ぐもの● Annotator の High-level な型からバックエンドの Low- level な型に変換する● signed int とか unsigned int とか● リストじゃなくて配列とか● ドキュメントはこちら http://codespeak.net/pypy/dist/pypy/doc/rtyper.htm

RTyper で使われる型システム● lltypesystem ● C っぽいモデル ● 低レベルな操作に変換される ● メモリ操作とかポインタとか ● C Backend ● LLVM Backend

RTyper で使われる型システム● ootypesystem ● High-level な型システムを持つ VM 向け ● CLI ● JVM ● Squeak(?)

Optimize● Optimize ● 処理の最適化 ● 関数のインライン展開 ● Python で書いた場合のメモリ確保の回数を減らす

Transform● Transform ● FlowGraph の構造を弄るイメージ ● Stackless 変換 ● CPS 変換とかもできそうじゃない?(適当) ● Lisp のマクロみたいな何か

Backend● 色々やってバックエンドにはき出す● さっき書いたよね

JIT● Just in time Compiler● 実行時に処理の流れを解析して最適化できるところを最適化する● 実装した処理系から Analyzer にヒントを与えると最適化してくれる● このあたりは @chlere がめちゃくちゃ詳しい

ここまで説明したけれど…● ここまでの説明は処理系実装者は気にしなくていいところ● translate.py を実行すると勝手にやってくれるので意識しない● 重要なのは translate.py に食わせる RPython のソースを書くこと

改めて作り方● RPython で処理系を書きます● RPython Toolchain を通してバイナリ出力します● できあがり● わぁい!

RPython で処理系を作るっていうけどどういうこと? なにを作るの?

答え:● 言語の処理系に必要なもの全部● ソースのパース● VM のバイナリに落とし込む● VM そのものの実装● VM 上の型システム● 標準ライブラリ● …

全部書きます● Python の場合は CPython で実装されているものを全部 RPython で実装する● 俺言語を作るときも同様、ソースのパースから全部書く● で、これを RPython Toolchain でビルドすると、わぁい!

なんか嬉しいの?● C よりも高級な Python っぽい書き方ができる● メモリ管理とか煩わしいことは気にしなくていい● PyPy の実装に使われている部分は使い回せる ● VM とか型モデルとか使い回すと楽なんじゃない? ● EBNF とかもあるので楽できるはず

要は?● 簡単に俺言語の処理系を作れるよ!!● 重要なので何度も言っている気がする

作る上で役立つ資料● PyPy Tutorial ● https://bitbucket.org/brownan/pypy-tutorial/ ● PyPy で BF とかいう言語を作るチュートリアル ● 翻訳しました ● http://shomah4a.net/pypy-tutorial/● サンプル ● 処理系としての PyPy のソース ● その他言語のソース

Grass 作ったよ● ここらへんにエントリ書いたので見てね● http://d.hatena.ne.jp/shomah4a/20110730/13119931

折角なのでソースを見てみる

簡単でしょう?

作りたくなったでしょう?

今すぐフォローするべき PyPy 界のスーパーエンジニア (英語圏)● @alex_gaynor ● Django, PyPy, CPythonのコミッター● @pedronis ● PyPy 関係者らしい● @voidspace ● IronPython、CPython、PyPyのコミッター● @cfbolz ● pypyコミッター、Djangoも...?

今すぐフォローするべき PyPy 界のスーパーエンジニア (英語圏)● @fijall ● PyPy コミッター● @gutworth ● CPython, pypy● @ctismer ● pypy, Pscyco● @antocuni ● pypyメインコミッター, pdb++のメインコミッター, virtualenvのコミッター

今すぐフォローするべき PyPy 界のスーパーエンジニア(日本語圏)● @rokujyouhitoma ● 総帥、翻訳● @chlere ● JIT 研究中の大学院生● @cocoatomo ● 静的解析、翻訳

PyPy 闇の軍団について

闇の軍団?● 初出は C++ 闇の軍団?● モヒカンの集まりくらいの意味合い● 誰彼かまわず噛みつくことから怖い人たちみたいな捉え方をされるみたい● 好きなもの: まさかり

PyPy 闇の軍団ってなんぞ● あーみんあーみん言っているただのユーザグループです ● とらドラ!の話がメイン● 総帥は @rokujyouhitoma● Google Group でやりとりしたりしてる ● https://groups.google.com/group/pypy-ja/● Google Site もあるよ ● https://sites.google.com/site/pypyja/● Lingr にもあるみたい● とか言いつつ skype でのやりとりが多かったりする

活動って?● メイン: とらドラ! の話 ● Sphinx ユーザ会の会長もいるよ!● サブ: PyPy ドキュメントの翻訳 ● https://bitbucket.org/pypyja● ついでに: PyPy の普及活動 ● pyfes に潜入して活動したり ● Python mini hack-a-thon に潜入して活動したり

来たれ! 団員!

ご清聴ありがとうございました!!

http://d.hatena.ne.jp	487
http://qno.oops.jp	181
http://a0.twimg.com	53
http://us-w1.rockmelt.com	12
http://nuevospowerpoints.blogspot.com	4
http://webcache.googleusercontent.com	4
http://www.techgig.com	3
http://twitter.com	2
http://leapf.org	1
http://s.deeeki.com	1

PyPy 紹介

by shoma h on Nov 11, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

10 Embeds 748

Statistics

PyPy 紹介 — Presentation Transcript