JSONを整形するコマンドだと思われがちなjqコマンド、実はかなり高性能で、これを使いこなせるとシェル芸が捗ります！

1. jqで極めるシェル芸の話
株式会社エクストーン 豊田陽一

2. 今日のお話
▰ jqコマンド
▰ 整形
▰ 列挙
▰ フィルタ
▰ 集計

3. JSON
▰ JavaScript Object Notation
▰ JavaScriptのオブジェクトと互換のあるデータ
フォーマット
▰ 別にJSでなくても使える
▰ APIのリクエスト・レスポンス
▰ ログ
▰ 設定ファイル
▰ etc.

4. jq
▰ JSONを整形するコマンド
▰ だと思っていませんか？
▰ 実は結構いろんなことが出来る子

5. 整形
▰ jq .
▰ 何となく手癖で打ってる感のあるコマンド
▰ . ってなんだろうね
$ cat 1.json | jq .
{
"name": "Yoichi TOYOTA",
"email": "wisteria.r.s@gmail.com"
}

6. 抽出
▰ 属性名や [] を指定する
▰ []を渡すと配列全件取得可能
▰ .sns[0] の部分をフィルタと呼ぶ
$ cat 2.json | jq . sns[0]
{
"type": "twitter",
"username": "@rs_wisteria"
}

7. パイプ
▰ | で前のフィルタの結果を次のフィルタ
に入力として渡せる
$ cat 2.json | jq ‘.sns[] | .type’
“twitter”
“facebook”

8. パイプ(2)
▰ パイプと{}, []を利用し、JSONの再構築
も可能
$ cat 2.json | jq '. | { name, email, sns: [
.sns[].username ] }'
{
"name": "Yoichi TOYOTA",
"email": "wisteria.r.s@gmail.com",
"sns": [
"@rs_wisteria",
"yoichi.toyota.9"
]
}

9. type, length, keys
▰ パイプで受け取ったオブジェクトの型・
長さ・キー一覧を取得可能
$ cat 1.json | jq '. | { name, email, sns: [
.sns[].username ], sns_count: (.sns|length) }'
{
"name": "Yoichi TOYOTA",
"email": "wisteria.r.s@gmail.com",
"sns": [
"@rs_wisteria",
"yoichi.toyota.9"
],
"sns_count": 2
}

10. フォーマット変換
▰ @csv, @tsv等でフォーマット変換が可
能
▰ -rにより””を除去
▰ 下記の””はCSVフォーマットして付与されたもの
$ cat 2.json | jq '.sns[] | [ .type, .username
] | @csv' -r
"twitter","@rs_wisteria"
"facebook","yoichi.toyota.9"

11. 他にもできること
▰ map
▰ reduce
▰ from_entry
▰ add
▰ etc.

12. シェル芸の時間だ！
▰ ひゃっはー

13. GitHub API
▰ https://api.github.com/users/<
ユーザー名>
▰ githubユーザーに関する情報が取得可能
▰ 関連情報を取得できるURL等
▰ 所有リポジトリ
▰ 所属組織
▰ フォロワー一覧
▰ etc.

14. GitHub API (2)
▰ 特定ユーザーの所有するリポジトリを
全部cloneしたい！
▰ /api/users/<ユーザー名>
▰ repos_url: リポジトリ取得APIのURL
▰ リポジトリ取得API
▰ clone_url: クローン用のURL

15. GitHub API (3)
▰ jqの結果を別のコマンドに渡す
▰ repos_urlを取得を取得し、curlに渡す
▰ clone_url一覧を取得し、xargsに渡す
▰ xargsにより、各URLをgit cloneに渡す
curl `curl -s
https://api.github.com/users/rswisteria | jq
.repos_url -r` | jq '.[].clone_url' -r | xargs
-I {} git clone {}

16. おわりに
▰ jq便利
▰ 整形だけじゃない
▰ 新しいJSONも作れる
▰ なんならJSON以外も作れる
▰ TSV, CSV他
▰ 整形してシェルの引数にしよう
▰ パイプでつなげば何でもできる
▰ xargsがあれば何でもできる