PHP Source Code Search with PHP

PHP Source Code Search
with
PHP

柄沢聡太郎 (sotarok)
http://nequal.jp/
twitter.com/sotarok

始める前に

Copyright © nequal, Creative Commons Attribution-
Noncommercial 2.1 @ PHP Study #46.

今⽇はPHP勉強会


なぜ 9/29 ではないのか


懇親会はピザだって？


⾁はどうしたんですか


本来のPHP勉強会


PHPerは
⾁の精神を忘れ
てしまったか

ごめんなさい冗談です
gusagiさん幹事おつかれさまです


sotarok
• そうたろう（けー）
• プリン
• プリン
• プリン
• pudding
• プリン
• ⾁
• ごはん
• 自転⾞
• 写真 – Sony α 300
• Ethna
• nequal

宣伝
• WikiHub
– http://wikihub.org/
– Git で⽂書管理して，それを Wiki 形式で整形して
表⽰
– GitHub の Service Hook で簡単同期
• 制限つきOpenBeta
– 100⼈まで


宣伝2 なぜか誰も
買ってこない
• プリンが好きです


宣伝2 yuchimiriさんに
RTまでされたのに

• プリンが好きです


検索エンジンとか
つくってるとこ！

Preferred Infrastructure (PFI)
というところでインターンやってます

だからか
だからです

Agenda
• 検索エンジン
• 転置インデックス
• クロールとキーワード抽出
• スコアリングと並び替え
• デモ
• 技術的な課題とか


検索エンジン
• キーワードを⼊⼒
– → そのキーワードが含まれる（そして探したいと
思われる）⽂書が探せる

• ソースコード検索
– grep
– gtags (GNU GLOBAL)
– trac + Hyper Estraier (BTS + Plugin)
– Google Code Search


grep
• 与えられたキーワードをファイルをたどり，⽂字
列⼀致で探す
• 前処理が必要ない
• どこにでも⼊ってる

grepのデメリット
• 大量の⽂書から探すのは時間がかかる
– 同じキーワードで再検索するときもまた同じ処理
• ランキングづけができない


検索エンジンを作る
• 既存のいろんなソフトウェアを使うのもいいけど
• 「検索エンジン」
– そんな難しくない
– PHPでもできる
– カンタンだよ！

• 今回の目標
– ローカルのPHPソースファイルからメソッドや関数
や変数を検索できるようにする
– ディレクトリを指定して，再帰的にPHPファイルを
検索
– grep -rn 'substr' **/*.php


転置インデックス
• キーワードから⽂書を逆引きできるようにあらか
じめつくっておくインデックス

• 焼⾁ =>
– ⽜角
– Wikipedia – 焼⾁
– YAKINIQUEST - ヤキニクエスト
– ...


※⽂書はフィクションです

⽂書1
I like Sushi, Yakiniku and pudding !

⽂書2
PHPer like Yakiniku. Maybe not like
Sushi.

⽂書3
Dankogai is an enemy of PHPer.


※⽂書はフィクションです

⽂書1
I like Sushi , Yakiniku and pudding !

⽂書2
Sushi.

⽂書3
Dankogai is an enemy of PHPer. He
also like Yakiniku.


Sushi 1

⽂書1
⽂書2
⽂書3 Sushi.
also like Yakiniku.

Sushi 1
Yakiniku 1

⽂書1
⽂書2
⽂書3 Sushi.
also like Yakiniku.

Sushi 1
Yakiniku 1
pudding 1

⽂書1
⽂書2
⽂書3 Sushi.
also like Yakiniku.

Sushi 1
Yakiniku 1 2
pudding 1

⽂書1
⽂書2
⽂書3 Sushi.
also like Yakiniku.

Sushi 1 2
Yakiniku 1 2
pudding 1

⽂書1
⽂書2
⽂書3 Sushi.
also like Yakiniku.

転置インデックスをPHPで
• array でしょJK

$inverted_index = array(
'miyazaki' => array(1, 2, 6, 4 ...),
'aoi' => array(2, 6, 7, ...),
'sotarok' => array(...),
...
);
配列のキー：配列の要素：
単語⽂書IDのリスト

クロールとキーワード抽出

クロールとキーワード抽出

• 対象の⽂書からキーワードを拾い集める
• クローラー -> Google なら Google Bot とか

• キーワード ->
– 空⽩区切りの⽂字列（英語圏のひと）
– 形態素解析（明⽇はあめだ）
– n-gram
• n⽂字区切りでキーワードにする
• 2-gram(bi-gram)
• 明⽇⽇ははああめめだ


クロールとキーワード抽出をPHPで(1)

•function crawl ($dirname)
• foreach(glob($dirname . "/*") as $file)
• if is_dir($file):
• $files += crawl ($file)
• else:
• if $file ~= /.+¥.php$/
• $files[] = $file
• return $files


クロールとキーワード抽出をPHPで(2)

• キーワードの抽出
– 関数名/メソッド名/クラス名/変数名
– tokenizer を使う

• token_get_all
• PHP
• tokenize
• http://php.net/tokenizer

• T_STRING
• T_VARIABLE

スコアリングと並び替え

スコアリングと並び替え
• なにかの基準で検索結果を並び替える
• あてはまりの良い⽂書を上に出す

• 普通の検索なら
– ページランク (Google のウェブ検索)
– TF-IDF
• ⽂書中の単語の出現頻度
• その単語の⽂書全体での珍しさ
– ...


スコアリングと並び替えをPHPで
• スコアはソースコード中のそのキーワードの出現
数
• 多い順に並び替え
PHP 5.3 なら
function($v1, $v2)
uasort( でいける！
$scored,
create_function(
'$v1, $v2',
'return $v1[¥'count¥'] < $v2[¥'count¥'];'
)
); Copyright © nequal, Creative Commons Attribution-

デモ

Hyper Pudding
http://gist.github.com/192879

技術的な課題
• デモったやつは全部 on memory
– 大規模⽂書はイケない
• symfony で 140MB くらい⾷うかな
– ということで，転置インデックスを外部ファイル
(Key-Value Store... まぁ，SQLite とかでもいい
けど) に保持するといい
• 並び替えの基準は出現頻度でいいの？
– これはまあ難しいですね
– 属性情報とかいろいろとればさらに
• And/Or 検索


まとめ
• 簡単な検索エンジンはPHPでもつくれる
– それもお⼿軽に
• インデックスをあらかじめつくっておけば検索は
瞬時にできる
• 検索技術とか楽しい


ありがとうございました

Question?

PHP Source Code Search with PHP

Recommended

Recommended

More Related Content

Similar to PHP Source Code Search with PHP

Similar to PHP Source Code Search with PHP (20)

More from Sotaro Karasawa

More from Sotaro Karasawa (20)

Recently uploaded

Recently uploaded (16)

PHP Source Code Search with PHP