第六回闇PHP勉強会発表資料

1. Reading implementation of OPcache’s file-based cache
OPcacheの新機能
ファイルベースキャッシュ
の内部実装を読んでみた
第六回闇PHP勉強会(2015/11/22)
発表資料

2. 自己紹介
❖ @hnw
❖ 所属：KLab株式会社
❖ カレーとバグが大好物
❖ 最近PHP7のプレゼンばかりしています

3. アジェンダ
❖ ファイルベースキャッシュの紹介
❖ キャッシュファイルを覗いてみる
❖ わきあがる疑問点
❖ まとめ

4. ❖ ファイルベースキャッシュの紹介
❖ キャッシュファイルを覗いてみる
❖ わきあがる疑問点
❖ まとめ

5. OPcacheのおさらい
❖ OPcacheなしのPHP
Parser
Lexer
OpcodeCompiler
ZendVM
PHP
token
AST
opcode

6. OPcacheのおさらい
❖ OPcache拡張モジュールを使った場合
❖ キャッシュヒットすると前段の処理を省略できる
Parser
Lexer
OpcodeCompiler
ZendVM
Optimizer
PHP
token
AST
opcode
opcode
OpcodeCache
opcode

7. ファイルベースキャッシュ
❖ OPcacheの新機能
❖ PHP 7.0.0 alpha 1で実装
❖ まだexperimental扱い
❖ PHPのコンパイル結果をファイルにキャッシュする
❖ 従来は共有メモリにキャッシュしていた

8. ファイルベースキャッシュ
❖ ファイルベースキャッシュを有効にしたOPcache
Parser
Lexer
OpcodeCompiler
ZendVM
Optimizer
PHP
token
AST
opcode
opcode
FileCacheSHMCache

9. ファイルベースキャッシュの利点
❖ 共有メモリとファイルの両キャッシュを併用する場合
❖ 共有メモリにキャッシュが無いときの速度低下を最
低限に抑える（Webサーバ再起動直後など）
❖ ファイルキャッシュのみ使う場合
❖ コマンドラインやCGIなどでも速度が稼げる

10. ファイルベースキャッシュの利点
http://talks.php.net/tokyo15#/php7pcache1

11. ❖ ファイルベースキャッシュの紹介
❖ キャッシュファイルを覗いてみる
❖ わきあがる疑問点
❖ まとめ

12. 実際に試してみる
❖ opcache.file_cache!
❖ 未設定: ファイルベースキャッシュ無効（デフォルト）
❖ パスを設定: 共有メモリ・ファイル両方有効
opcache.enable=1!
opcache.enable_cli=1!
opcache.file_cache=/var/tmp/php/opcache

13. キャッシュファイルのパス
❖ /tmp/foo.phpのキャッシュを探してみた
/var/tmp/php/opcache/68359b54ec757c2697b328c10d7d44c2/
tmp/foo.php.bin
❖ フルパス+「.bin」にキャッシュされる

14. キャッシュファイルのパス
❖ /tmp/foo.phpのキャッシュを探してみた
/var/tmp/php/opcache/68359b54ec757c2697b328c10d7d44c2/
tmp/foo.php.bin
❖ フルパス+「.bin」にキャッシュされる
❖ このハッシュ値は何だ？？？

15. パス中のハッシュ値の正体
❖ このハッシュ値を作っているのは
ext/opcache/ZendAccelerator.c の accel_gen_system_id()
❖ PHPバージョン・ZTSが有効か・int型やlong型のサイ
ズなどを含んだ文字列のMD5値
❖ PHPをバージョンアップすると別のパスになる
/var/tmp/php/opcache/68359b54ec757c2697b328c10d7d44c2/
tmp/foo.php.bin

16. キャッシュファイルの中身(1)
<?php phpinfo();
000000 4f 50 43 41 43 48 45 00 36 38 33 35 39 62 35 34 >OPCACHE.68359b54<!
000010 65 63 37 35 37 63 32 36 39 37 62 33 32 38 63 31 >ec757c2697b328c1<!
000020 30 64 37 64 34 34 63 32 e0 02 00 00 00 00 00 00 >0d7d44c2à.......<!
000030 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 > ...............<!
000040 4f 48 50 56 00 00 00 00 12 19 ee 32 01 00 00 00 >OHPV......î2....<!
000050 c0 01 00 00 00 00 00 00 02 00 00 00 00 00 00 08 >À...............<!
……!
000330 01 00 00 00 06 06 00 00 f9 e0 f8 ab b5 d0 00 80 >........ùàø«µÐ..<!
000340 07 00 00 00 00 00 00 00 70 68 70 69 6e 66 6f 00 >........phpinfo.<
phpinfo.php
phpinfo.php.bin

17. なるほど、
わからん！

18. キャッシュファイルの中身(2)
❖ 意外とデカいぞ…？
（.php 17bytes → .php.bin 848bytes）
❖ 中身を調べよう！

19. キャッシュファイルの中身(3)
❖ 内部的なデータ構造をそのまま書き出している
❖ zend_file_cache_metainfo構造体
❖ zend_persistent_script構造体
❖ 固定文字列（zend_string）の配列

20. zend_file_cache_metainfo構造体
typedef struct _zend_file_cache_metainfo {!
char magic[8]; // "OPCACHE0"!
char system_id[32]; // accel_gen_system_id()!
size_t mem_size; // size of serialized script!
size_t str_size; // size of interned string!
size_t script_offset; // ?!
accel_time_t timestamp; // script->timestamp!
uint32_t checksum;!
} zend_file_cache_metainfo;
❖ メンバ system_id には先ほど見たハッシュ値が入る!
❖ キャッシュを読む際、これをチェックする
❖ 異なるバージョン間でキャッシュの使い回しはできない

21. zend_persistent_script構造体
typedef struct _zend_persistent_script {!
! zend_string *full_path;!
! zend_op_array main_op_array;!
! HashTable function_table;!
! HashTable class_table;!
……!
} zend_persistent_script;
❖ スクリプトのコンパイル結果を管理するOPcacheの構造体
❖ 共有メモリ上に置かれているキャッシュそのもの

22. 固定文字列だけ別管理
❖ OPcacheの管理上、プログラム中の固定文字列は
zend_persistent_script構造体とは別管理になる
❖ 全プロセスで固定文字列を共有する仕組みがある
(interned string ＆ そのキャッシュ）
❖ 別途取り出してファイルに書き出す

23. ポインタのシリアライズ(1)
❖ ファイルキャッシュの概要
❖ 構造体をそのままファイルに保存
❖ ファイルから構造体を復元

24. ポインタのシリアライズ(1)
❖ ファイルキャッシュの概要
❖ 構造体をそのままファイルに保存
❖ ファイルから構造体を復元
❖ 簡単そうに思えるが、自明でない点がある
❖ メモリアドレスは実行ごとに変わる
❖ 保存・復元のため「シリアライズ」する必要がある

25. ポインタのシリアライズ(2)
❖ 発想としては単純
#define SERIALIZE_PTR(ptr) do { !
! ! if (ptr) { !
! ! ! ZEND_ASSERT(IS_UNSERIALIZED(ptr)); !
! ! ! (ptr) = (void*)((char*)(ptr) - (char*)script->mem); !
! ! } !
! } while (0)!
#define UNSERIALIZE_PTR(ptr) do { !
! ! if (ptr) { !
! ! ! ZEND_ASSERT(IS_SERIALIZED(ptr)); !
! ! ! (ptr) = (void*)((char*)buf + (size_t)(ptr)); !
! ! } !
! } while (0)

26. ポインタのシリアライズ(2)
❖ 発想としては単純
❖ バッファ先頭からの相対値に変換する
❖ 全部のポインタ値が比較的小さい値になる
❖ ポインタ値が小さい＝シリアライズ済と見なす

27. ポインタのシリアライズ(3)
❖ 仕組みは単純でも実際は面倒
❖ PHP配列の中の配列→ポインタの先にポインタ
❖ 全部のポインタを変換することになる
❖ 関連する全データ構造のシリアライズ・アンシリアライ
ズ関数が実装されている
❖ op_array、zval、配列、関数、AST
❖ 何か別の応用が可能かもしれない

28. ❖ ファイルベースキャッシュの紹介
❖ キャッシュファイルを覗いてみる
❖ わきあがる疑問
❖ まとめ

29. わきあがる疑問
❖ Pythonでいう.pycを我々は手に入れたのか？
❖ 性能面でそこまで嬉しいのか？
❖ 他の応用はあるか？
❖ セキュリティ面は大丈夫か？

30. Pythonでいう.pycを我々は手に入れたのか？
❖ .pyc は互換性を考えて作られている
❖ 近いバージョンなら別サーバにもデプロイ可能
❖ コンパイル済みバイナリに準ずる扱い
❖ .php.bin は少しでもバージョンが変わると使えない
❖ 構造体をベタに保存しているので、構造体メンバの順
序を入れ替えただけで作り直しになる
❖ あくまでキャッシュ

31. 性能面でそこまで嬉しいのか？
❖ CLIやCGIだとプロセス生成のコストの方が高い気が？
❖ 高負荷Webサービスでは、従来通りウォームアップ後
にロードバランサ配下に組み込む方が無難では？
❖ 個人的にはユースケースがイマイチ見えない…

32. 他の応用はあるか？
❖ オススメしないが、なんちゃって難読化に使える
❖ .php.bin だけをデプロイ又は納品するなど
❖ 理屈上は逆コンパイルも可能、難読化とは呼べない
❖ 運用で死ぬ未来が見える

33. セキュリティ面は大丈夫か？
❖ ダメかも…
❖ キャッシュファイルはWebサーバ権限で書き込める
❖ 他の脆弱性を利用してキャッシュファイルを上書き＆
再起動を待てば任意スクリプトが実行可能
（発動条件が厳しめではあるが…）

34. ❖ ファイルベースキャッシュの紹介
❖ キャッシュファイルを覗いてみる
❖ 疑問点
❖ まとめ

35. まとめ
❖ OPcacheのファイルベースキャッシュを調べました
❖ 共有メモリのキャッシュをシリアライズしてファイル
化するような仕組みでした
❖ 手元で生成してデプロイするにはあまり向いていない
❖ あくまでキャッシュと考えた方が良さそう
❖ 今後の動きを注視していきたい

36. ご静聴
ありがとう
ございました

37. …

38. 以降、
補足スライド

39. ファイルの更新チェック
❖ opcache.validate_timestamps!
❖ 1: タイプスタンプのチェックを行う（デフォルト）
❖ .php と .php.bin 内部のタイムスタンプを比較し、
一致しなかったらキャッシュを捨てる
opcache.enable=1!
opcache.enable_cli=1!
opcache.file_cache=/var/tmp/php/opcache!
opcache.validate_timestamps=1

40. 勘違いしやすい(?)設定
❖ opcache.file_cache_only!
❖ 1: 共有メモリキャッシュ無効・ファイルのみ
❖ 0: 共有メモリキャッシュ有効（デフォルト）
opcache.enable=1!
opcache.enable_cli=1!
opcache.file_cache=/var/tmp/php/opcache!
opcache.file_cache_only=1