2013年4月13日シェル芸勉強会問題

1. 第4回春爛漫シェル芸人撩乱
勉強会
USP友の会 上田 隆一

2. 近況
• 月曜、とあるサイトをリリース
– （日曜の朝から作業。泊まり込み）
– 延期！でも明日も仕事だ！
• 今朝は子供が while
sleep
1000
;
do
嘔吐
;
done
で病院へ連れて行った。
• お察しください。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
2

3. はじめに
なに！？
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
3

4. 東京にミサイルが来るらしい
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
4

5. 今、我々にできること
curlとシェル芸で無慈悲なパケット攻撃
（注意：ダメ絶対）
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
5

6. ということで本日は
シェル芸web編
やりませう。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
6

7. シェル芸とは？
• マウスも使わず、ソースコードも残さず、
GUIツールを立ち上げる間もなく、
あらゆる調査・計算・テキスト処理を
コマンド入力一撃で終わらす。
– 最近、一般名詞化
してきた
海外のシェル芸勉強会の様子（再掲）
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
7

8. 今回の内容
• ウェブ関連の9問を準備
– ポイント
• 表向き：webからの情報収集
• 裏のテーマ：不定形文章の処理（こっちが大事）
• ちょっと難しめ
– 玄人が１人混入した2,
3人のグループを
作ってください。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
8

9. 注意
• 解答例は
Mac
で作成
• *Linux
の人は
gawk,
gsedを適宜 awk,
sedに読み替えのこと
• その他環境でも、解答例にこだわらずネット等を
調べながら解答願います。
• 解答では、例題が解ければよい。
– 一般解を探すのは、場合によっては悪い癖となる。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
9

10. 問題1:
肩ならし
• 次のファイルから、「index.cgi」を
除去して出力してください。
– ただし、p=index.cgiは残すこと。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
10

11. 問題2:
urlのリスティング
• 次のファイルを作って、urlを抜き出してください。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
11

12. 問題3:
整形
• インデントの汚いhtmlを整形してください
– 一行にtd一個にすること
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
12

13. 問題4:
webページの切り取り
• yahooさんのトップページからトピックスの
見出しを抽出しましょう
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
13

14. 問題5:
数値参照の変換
• 次のような数値参照、実体参照文字列を
読めるように変換してください。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
14

15. 問題6:
ポスト
• hMp://www.usptomo.com/TOMONOKAI_CMS/CGI/
hoge.cgi
に、ポストでデータを送りつけてください。
こんなCGIスクリプト→
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
15

16. 問題7:
データの収集
• 本日の最高気温をワンライナーで
出力してください。
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
16

17. 問題8:
画像をダウンロード
• ウェブページに掲載されている画像を集めてくださ
い。
– yahooさんのニュースのページ
hMp://headlines.yahoo.co.jp/hl
等々から
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
17

18. 問題9:
クローリング
• どこかのサイトのトップページにあるリンク先のリス
トを作って、リストのページや画像等をダウンロード
してください。
– 相対パスにも対応しましょう。
– できたら再帰的にクローリング
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
18

19. おわりに
• 次は・・・
#!/beer/bash
2013/04/13
第4回春爛漫シェル芸芸人撩乱勉強会
19