第87回PHP勉強会 LT 知って得するかもしれないテキスト処理コマンドのお話

1. 知って得するかもしれない
テキスト処理理コマンドのお話
@serima

2. ⾃自⼰己紹介 | PHP歴
今年年で 8 年年⽬目
初めての PHP 勉強会への参加
今後も頑張りたい

3. ビッグデータと僕
ソーシャルゲームの運⽤用
データ命
アクセスログ、課⾦金金ログ、戦闘ロ
グ、カード取得ログ…

4. データのダンプ
mysqldump
scp

5. TreasureData
あらゆるログを TreasureData に集
約
これで取り出しやすくはなった

6. ディレクターさん
「せりまさん、こんなデータ取って
ください」
「おｋ」

7. 巨⼤大なデータ
いざ取り出してみると、数⼗十万〜～数
百万⾏行行になることはザラ
この規模のデータを Excel で開くと
死亡
なので、ある程度度サマリする必要が
でてきます

8. サマリするためのスクリプト
データ規模が⼤大きくなってくると
PHP つかって書くと超遅い

9. それ…
UNIX コマンドでできるよ

10. よく使うコマンド
cat, sort, uniq, wc, grep, awk,
diff, cut, sed

11. join
ふたつのファイルの共通 key で連結
ふたつのファイルは結合するフィー
ルドで sort しておく必要がある

12. join の使⽤用例例
a.txt には ユーザ ID, 課⾦金金額, 戦闘⼒力力 の順で⼊入ってる
b.txt には ユーザ ID, ユーザ名 の順で⼊入ってる
join -‐‑‒a1 -‐‑‒eʼ’-‐‑‒ʼ’ -‐‑‒oʼ’0 1.2 1.3 2.2ʼ’ <(sort a.txt) <(sort b.txt)

13. プロセス置換 | 知ってる？
<(sort a.txt)
bash や zsh の機能
sort 済みのテンポラリファイルを作
る必要がなくなる

14. プロセス置換 | 知らない
これを知るまで
cat a.txt | sort > a_̲sorted.txt
無駄なファイル量量産してた

15. 集合演算っぽいこと
A に含まれるが、B に含まれない ID
を出したい
1
2
3
1
3
2
A B ほしい結果

16. 差集合
diff と awk でできるよ
diff <(sort A) <(sort B) | awk ʻ‘/^</{print $2}ʼ’

17. 他の集合演算
和集合 A∪B
cat A B | sort | uniq
積集合 A∩B
cat A B | sort | uniq -‐‑‒d
join A B

18. join コマンド
join コマンドはとても便便利利だけど、
ふたつの引数しかとることができな
い

19. tsv や csv に query 投げたい
あるんです
q -‐‑‒ Text as Data
https://github.com/harelba/q
q って！ググラビリティ低すぎ

20. 試しに使ってみる
% seq 1 1000 | q "select avg(c1),sum(c1) from -‐‑‒"
500.5 500500
c1というのが、カラムの1番⽬目という意味なので、
avg(c1)で、1〜～1000の総和の平均
sum(c1)で、1〜～1000の総和
がちゃんと出てますね

21. GROUP BY も使える
% cat test.txt
Mike 10
John 1
Bob 8
Mary 19
Bob 15
Bob 20
Mike 2
% q "select c1, count(*), sum(c2) from test.txt group by c1"
Bob 3 43
John 1 1
Mary 1 19
Mike 2 12

22. JOIN も使える
% cat test1.txt
a1234 aa1
b1234 aa2
c1234 aa3
d1234 aa3
!
% cat test2.txt
1 a1234 bb1
2 a1234 bb2
3 b1234 cc1
4 c1234 dd3
5 e1234 NULL
!
% q "select * from test1.txt as a left join test2.txt as b on a.c1 = b.c2"
a1234 aa1 1 a1234 bb1
a1234 aa1 2 a1234 bb2
b1234 aa2 3 b1234 cc1
c1234 aa3 4 c1234 dd3
d1234 aa3

23. ご清聴ありがとうございました
ブログにこの事書いてるのでご興味
あればどうぞ
http://serima.co/blog