2015/12/12 PostgreSQLアンカンファレンス講演資料

2. 目次
問題意識
仮説
ターゲット
実装
まとめ

3. 問題意識
変化の激しい世の中において、常に技術を追いかけ
高いパフォーマンスが求められる
仕事でより高いパフォーマンスを上げるために、癒
しが必要
自宅のうさぎが癒し業をボイコット中

4. 仮説
うさぎ画像をみれば癒される!?
googleうさぎ検索!!

6. やりたいこと
うさぎ検索結果から画像を抜き出す
↓
ローカルに画像を保存
↓
PostgreSQLで画像情報を管理する！

7. ターゲット
非営利目的での再利用が許可された画像に限定
取得した画像は、個人でただ、癒されるためだけに利
用

10. ↑このときのURLに検索条件が入っている！

12. 画像を自動で抜き出す
地道に正規表現でがんばる
<img height="90" src="https://encrypted-
tbn2.gstatic.com/images?q=tbn:ANd9GcTwTK9
5XZfQyU-HGdMSgxUy78nhw-
XdpkcA3qwL0fv7sBJm-EOuZ1Nnicw"
width="136" alt="「うさぎ」の画像検索結果">
→リンクから、画像をローカルにダウンロード！

14. 画像をどうやって管理する？
方法は基本３つ
説明 検索性能 備考
bytea PostgreSQLの型の
1つ。バイナリを保
存する。
△ データ量が多くなる
と性能劣化。
ラージオブジェクト 大きなデータを扱
うための仕組み
◯ lo_import()などを使
う。
外部ファイル 画像自体はDBに保
存せず、画像への
パスを保存。
◯ 画像自体の更新は
DBで管理できない。

15. bytea vs large Object
https://www.microolap.com/products/connectivity/postgresdac/help/tipsandtrick
s_byteavsoid.htm

16. 今回実施した手順
ラージオブジェクトのOID保存テーブルを作成
=# create table image(object_id oid);
ファイルからラージオブジェクトをimport
=# insert into image values
(lo_import('/home/postgres/1'));

17. <?php
$filename="https://www.google.co.jp/search?as_st=y&tbm=isch&hl=ja&as_q=%E3%81%86%E3%81%
95%E3%81%8E&as_epq=&as_oq=&as_eq=&cr=&as_sitesearch=&safe=images&tbs=sur:f#q=%E3%8
1%86%E3%81%95%E3%81%8E&as_st=y&hl=ja&tbs=sur:f,qdr:w&tbm=isch&imgrc=_";
$pattern = '/img height=".*?" src=.*?alt="「うさぎ」の画像検索結果"/';
$html = file_get_contents($filename);
$path = '/home/postgres/';
mb_language("Japanese");
$subject = mb_convert_encoding($html,'UTF-8','auto');
preg_match_all($pattern, $subject, $matched);
for( $i = 0; $i < count($matched[0]) ; $i++){
$yobun = '/" width=".*?" alt="「うさぎ」の画像検索結果"/';
$yobun2 = '/img height=".*?" src="/';
$data = preg_replace($yobun, "", $matched[0][$i]);
$data = preg_replace($yobun2, "", $data);
$image = file_get_contents($data);
file_put_contents($path.$i,$image);
$con = pg_connect("dbname=postgres user=postgres");
$sql = "INSERT INTO image VALUES(lo_import('".$path.$i."'));";
pg_set_client_encoding($con, "UTF-8");
$res = pg_query($con,$sql);
pg_close($con);
}

18. 結果
画像フォルダがうさぎ画像でいっぱいに！！
今回の取り組みの結果、たとえオフラインでも、
googleが突然使えなくなっても手元にうさ画像があ
る

19. 広がる夢
「常に最新のうさぎ画像」を集めるべく収集対象を
最新の画像に絞るという夢
cron等の自動実行により確実に収集するという夢
可愛いうささんだけ集めたいという夢

20. おわり
ZZZ