Linux女子部第二回勉強会usp友の会

ビル・ゲイツも知ってる！？
シェルスクリプトでLinuxを
256倍使いこなそう！！

USP友の会　上田隆一

2011年7月2日第二回 LINUX女子部勉強会

contents
● -1. USP友の会の紹介
● 0. 自己紹介
● 1. Linux使いの嗜み、シェルスクリプト
● 2. awkをシェルスクリプトで使い倒す
● （一部、ユニケージの話）
● ３. まとめ

2011年7月2日第二回 LINUX女子部勉強会 2

-1. USP友の会
● シェルスクリプト（CUI）のコミュニティー
● USP: universal shell programming
● 会員数：もうすぐ200人（200人目に粗品贈呈）
● 会の綱領
● 「酒は呑め呑め呑むならば（嘘）」
● 「本物の技術・本物の人」

派手なウェブサイト

2011年7月2日第二回 LINUX女子部勉強会
雑誌：USPマガジン 3

遊びにきてね
● イベント
● 8月2日（火）：定例会@東京湾納涼船
● 8月13日（土）：某イベントでUSPマガジンを売る
– 東京ビッグサイト東2ホール S-53b
● 8月末：勉強会
● 9月22日（木）：Tech LION vol. 3

● ネット・メディア
● Twitter @usptomo（残念な駄洒落のみ）
● Facebook 「USP友の会」（イベント等の告知）

0. 自己紹介
● 上田隆一
● 1978年生まれ33歳
● 博士（工学）
– 学位論文：State-Action Map Compression by using Vector
Quantization for Decision Making of Autonomous Robots
● 26歳～30歳：東大で常勤の助手→助教
– 新人賞のようなものをぽちぽち受賞
– 教科書の翻訳（確率ロボティクス）
● 31歳：やりたいことに能力がついていかず、大学を辞める
– USP研究所のやっていることが面白くて入社


興味・野望
● シェルスクリプト, CUI一行野郎
● もともとwindowsで研究のプログラムを書いていたので新鮮

● （仮称）次世代アナログコンピュータの構想
● ポテンシャル場やベクトル場等をO(1)で計算する何か
– 非言語型の人工知能が実現 → 世の中ひっくり返る
● はやく10億円貯めて、物理と化学を勉強して研究にとりかかりたい
– 貯金に1000年、研究に30年

● カミさんの機嫌をとる手法の研究
● 娘を真人間にする方法

1. Linux使いの嗜み、シェルスクリプト
● UNIXの生い立ち
● テキストはユニバーサルなフォーマット


UNIXの生い立ち
● 誕生：1969年

● UNIXが乗った最初の計算機
● DEC PDP-7（1965年発売）
PDP-7 (wikipediaより引用)
● メモリ：9kB～144kB
– http://www.linfo.org/pdp-7.html


UNIXのテキスト文化
● UNIX（Linux）は、文字で設定を行う
● 例：

● 文字はメモリを食う
● on/offの設定：ゼロイチだと1bit、「on」「off」だと最大24bitで24倍
– バイナリ: 1
– 文字（ASCIIコード）: 11011110110011001100110
● PDP-7では深刻な問題になりうる
● なぜ、文字を選んだ？？？

テキストは便利
● CUIしか無かった：人間が設定を書きやすい。
● 今はGUIがあるが、それでも文字の設定ファイルを利用
● ↑単なるレガシーなのか？？

● コマンド＋パイプ
● 何でもcat, grep, moreで確認
● バイナリファイル：専用のエディタが必要
– バグ・無理な拡張の巣窟、プログラムが肥大


バイナリは（儲かるかもしれないが本質的には）面倒
● 例えば、専用バイナリ形式のワープロソフトを考える
● そのワープロ専用の機能がたくさん
– 文字列検索・置換機能、文字数カウント機能、スペルチェッカー、
画像埋め込み機能・・・
● アプリケーション１個に対して機能がO(n)個

● TeXを考える
● テキストファイルをdviにできればそれでよい。
● アプリケーション1個に対して機能はO(1)個


偉い人も、言っている
● UNIX哲学 [Gancarz2001]
● 小さいものは美しい。
● 各プログラムが一つのことをうまくやるようにせよ。
● できる限り原型（プロトタイプ）を作れ。
● 効率よりも移植しやすさを選べ。
● 単純なテキストファイルにデータを格納せよ。
● ソフトウェアの効率をきみの優位さとして利用せよ。
● 効率と移植性を高めるためにシェルスクリプトを利用せよ。
● 束縛するインターフェースは作るな。
● 全てのプログラムはフィルタとして振る舞うようにせよ。

時代はテキスト
● 事例１：バイナリ形式のテキスト化
● Office 2007
– データ形式：zipで圧縮されたxml
● 理由
– バイナリフォーマットはソフト屋に抱え込まれるという世論
– 計算機が強力になった
– バイナリ形式がややこしすぎて管理できなくなった？
● 事例２：サービスのweb化
● HTTPは文字でデータをやりとり

これからのものはテキスト主流
● 最近の注目：Sphinx
● ドキュメント作成ツール
– ReST（reStructuredText）形式というテキストで作文
– webページ、pdf、ePub等様々な形式に変換してくれる
– 機能拡張に大きな可能性

● 今後の（勝手な）予想
● ppmやpgmをgzip圧縮した画像が主流に？
● ムービーファイルのテキスト化！（時刻、座標、rgbの羅列）

・・・だってわかりやすい方がいいじゃないですか。

・・・ということで
● Linuxをいじるならば、コマンドを使った
テキスト処理に強くなろう！

● UNIX系OS使いのタシナミ
● UNIX系OS使いの基礎体力
– もしかしたら今日の内容は直接役に立たないかもしれませんが、
端末をいじるあらゆる局面でじわじわ効いてきます。


2. awkをシェルスクリプトで使い倒す
● ログなどの処理に便利なコマンド
● awkをパイプでつなげてシェルスクリプトを書くと、
かなりの種類の処理が可能になる。


awk
● 古いスクリプト言語
● 開発陣
● Alfred Aho（ベル研→コロンビア大教授）
– 著書：コンパイラ—原理・技法・ツール
● Peter Weinberger（ベル研→google）
● Brian Kernighan（ベル研→プリンストン大教授）
– 著書：プログラミング言語C

● 言語なんですが、コマンドのように使います。

とりあえず使ってみる
● こんなファイル（hogeという名前）
a 100
b 20
c -10.4
● コマンドを打つ
● cat hoge | awk '{print $1}'
● cat hoge | awk '$1=="b"'
● cat hoge | awk 'BEGIN{a=0}{a+=$2}END{print a}'


awkの挙動
● いかにもUNIX的（フィールド指向）
● 空白で区切った表を標準入力で読み取る
● 文字列を割って$1, $2, $3, ...という変数に入れる
● 「データはこの様に持て」というメッセージ？

● 後はユーザの組んだ一行プログラムでいかようにも
● 検索、計算、文字列処理・・・


お題A：表計算をやってみましょう
● 注意：コードを追わず、何ができるかだけ、ぼんやり
覚えてください。コードを追うと撃沈します。
● ファイル（hoge）
1 2 3
0.1 0.2 0.3
-1 -2 -3
● 横に足す
● $ cat hoge | awk '{print $1,$2,$3,$1+$2+$3}'
1236
0.1 0.2 0.3 0.6
-1 -2 -3 -6

● $0に、一行すべての文字列が入っている
● $ cat hoge | awk '{print $0,$1+$2+$3}'
1 2 36
0.1 0.2 0.3 0.6
-1 -2 -3 -6
● 変数も使えます
● $ cat hoge | awk '{sum=$1+$2+$3;print $0,sum}'
1 2 36
0.1 0.2 0.3 0.6
-1 -2 -3 -6

● 書式を整える
● $ cat hoge | awk '{sum=$1+$2+$3;print $0,
sprintf("%10s",sum)}'
1 2 3 6
0.1 0.2 0.3 0.6
-1 -2 -3 -6
● 面倒なのでfor文で
● $ cat hoge | awk '{$4=$1+$2+$3;for(i=1;i<=4;i++)
{printf("%5s",$i)};printf("n")}'
1 2 3 6
0.1 0.2 0.3 0.6
-1 -2 -3 -6

● ややこしくなったらパイプで処理を分ける
● $ cat hoge | awk '{print $0,$1+$2+$3}' |
awk '{for(i=1;i<=4;i++){printf("%5s",$i)};printf("n")}'
1 2 3 6
0.1 0.2 0.3 0.6
-1 -2 -3 -6


● 縦にも足してみましょう
● $ cat hoge | awk '{print $0,$1+$2+$3}' | awk
'{for(i=1;i<=4;i++){a[i]+=$i};print}END{print
a[1],a[2],a[3],a[4]}' | awk '{for(i=1;i<=NF;i++)
{printf("%5s",$i)};printf("n")}'
1 2 3 6
0.1 0.2 0.3 0.6
-1 -2 -3 -6
0.1 0.2 0.3 0.6
● さすがに読み返せない。どうするか？


シェルスクリプトにする
● 基本、手で打つコマンドラインを
ファイルに書いただけのもの
● 便利な点
● 保存できる #!/bin/bash
#hoge.sh
● コメントを書ける
cat hoge 　　　　　 |
#$1～$3: 数値
#各レコードの値を足して後ろにくっつける
awk '{print $0,$1+$2+$3}' 　　 |
処理を細かく区切って
#$1～$3:数値 $4:合計値
データのレイアウトだけ #各フィールドの数値を足して最終行に出力
書いておけば、コードが awk '{for(i=1;i<=4;i++){a[i]+=$i};print}
読みにくくても困らない。 END{print a[1],a[2],a[3],a[4]}'


お題B：出力にこだわる
● ところで、出力がCUI上というのは寂しい。
● いや、寂しくないが、需要が多い。

● テキストの出力は貧弱？
● テキストだから何にでも化けるだろう。


● csv
● $ ./hoge.sh | awk '{print $1,$2,$3,$4}' | tr ' ' ','
1,2,3,6
0.1,0.2,0.3,0.6
-1,-2,-3,-6
0.1,0.2,0.3,0.6
–

● リダイレクトでファイルに保存
– $ ./hoge.sh | awk '{print $1,$2,$3,$4}' | tr ' ' ',' > hoge.csv


● pukiwikiのテーブル
● $ ./hoge.sh |
awk '{for(i=1;i<=NF;i++){$i = "|" $i};print $0,"|"}'
|1 |2 |3 |6 |
|0.1 |0.2 |0.3 |0.6 |
|-1 |-2 |-3 |-6 |
|0.1 |0.2 |0.3 |0.6 |
● reSTのcsvテーブル
● $ ./hoge.sh | awk 'BEGIN{OFS=","}{for(i=1;i<=NF;i++){$i="""$i
"""};print}' | awk 'BEGIN{print ".. :csv-table:: たいとる";print ""}
{print "t" $0}'
.. :csv-table:: たいとる
　　　
　　　"1","2","3","6"
　　　"0.1","0.2","0.3","0.6"
　　　"-1","-2","-3","-6"
　　　"0.1","0.2","0.3","0.6"

● HTML
● $ ./hoge.sh | awk '{for(i=1;i<=NF;i++){$i = "<td>" $i
"</td>"};print}' | awk '{print "<tr>" $0 "</tr>"}' | awk
'BEGIN{print "<table>"}{print}END{print "</table>"}'
<table>
<tr><td>1</td> <td>2</td> <td>3</td> <td>6</td></tr>
<tr><td>0.1</td> <td>0.2</td> <td>0.3</td>
<td>0.6</td></tr>
<tr><td>-1</td> <td>-2</td> <td>-3</td> <td>-6</td></tr>
<tr><td>0.1</td> <td>0.2</td> <td>0.3</td>
<td>0.6</td></tr>
</table>

#!/bin/bash
#html.sh
cat << FIN
● HTML その２ <!DOCTYPE HTML PUBLIC "-//W3C//DTD
HTML 4.01 Transitional//EN">
<html>
● 真面目にHTMLを書く <head>
<meta http-equiv="content-type"
● リダイレクトしてブラウザで content="text/html; charset=utf-8" />
</head>
閲覧 <body>
– $ ./html.sh > <table>
FIN
~/public_html/table.html cat ./hoge |
./hoge.sh |
awk '{for(i=1;i<=NF;i++){$i = "<td>" $i
"</td>"};print "<tr>" $0 "</tr>"}'
cat << FIN
</table>
</body>
</html>
FIN

● なにか絵に書く（xy座標へ変換）
● $ ./hoge.sh |
awk '{for(i=1;i<=NF;i++){print "x=" NR, "y=" i, $i}}'
x=1 y=1 1
x=1 y=2 2
x=1 y=3 3
x=1 y=4 6
x=2 y=1 0.1
x=2 y=2 0.2
x=2 y=3 0.3
x=2 y=4 0.6
x=3 y=1 -1
x=3 y=2 …

お題C：CGIを書く
● 各ユーザのHDD使用量を表示
● du -s dir : dir以下のファイル容量を集計
#!/bin/bash
● HTTPヘッダを出力した後、
HTMLを出力 echo 'Content-type: text/html'
echo ""
echo '<table border="1" cellspacing="0">'

du -s /home/[a-z]* 2> /dev/null |
● POSTされたデータも awk '{gsub(//home//,"",$2);print}' |
読めます sort -k1,1nr |
awk '{print int($1/1024) "MB", $2}' |
– ddコマンドなど awk '{print "<tr><td>" $1 "</td><td>" $2
"</td></tr>" }'
echo "</table>"

exit 0

お題D：ログを集計してみましょう
● いろいろやばい、secureログ
$ head -n 5 secure
Jun 26 07:50:03 hoge01 sshd[12942]: Did not receive identification
string from 122.176.82.13
Jun 26 07:51:56 hoge01 sshd[12945]: reverse mapping checking
getaddrinfo for abts-north-static-013.82.176.122.airtelbroadband.in
failed - POSSIBLE BREAK-IN ATTEMPT!
Jun 26 07:51:56 hoge01 sshd[12945]: pam_unix(sshd:auth):
authentication failure; logname= uid=0 euid=0 tty=ssh ruser=
rhost=122.176.82.13 user=root
Jun 26 07:51:58 hoge01 sshd[12945]: Failed password for root
from 122.176.82.13 port 55020 ssh2
Jun 26 07:51:58 hoge01 sshd[12946]: Connection closed by
122.176.82.13


まずやること
● 日付正規化 #!/bin/bash
#ymd.sh
スクリプトを作る #パイプから字を受ける
cat < /dev/stdin |
● 修正前 awk '{gsub(/Jan/,"01",$1);print}' |
awk '{gsub(/Feb/,"02",$1);print}' |
– Jun 1 10:12:30 awk '{gsub(/Mar/,"03",$1);print}'
awk '{gsub(/Apl/,"04",$1);print}'
|
|
● 修正後 awk '{gsub(/May/,"05",$1);print}'
awk '{gsub(/Jun/,"06",$1);print}'
|
|
awk '{gsub(/Jul/,"07",$1);print}' |
– 20110101 101230 awk '{gsub(/Aug/,"08",$1);print}' |
（ログに年が入って awk '{gsub(/Sep/,"09",$1);print}' |
awk '{gsub(/Oct/,"10",$1);print}' |
いないのは問題！） awk '{gsub(/Nov/,"11",$1);print}' |
awk '{gsub(/Dec/,"12",$1);print}' |
awk '{gsub(/:/,"",$3);print}' |
awk '{$2=sprintf("%02s",$2);print}' |
● ymd.sh awk '{print "2011" $0}' |
awk '{$1=$1 $2;$2="";print}'
– 誰ですか
笑っているのは？

お題D-1：一日の不正アクセス件数集計
● Failed passwordのレコードを数える
● 方法1
– $ cat secure* | ./ymd.sh | awk '$5=="Failed" &&
$6=="password"{print $1}' | sort | awk 'BEGIN{a=0;d=0}
{if(d!=$1){print d,a;d=$1;a=1}else{a++}}END{print d,a}' |
tail -n +2
● 方法２（ユニケージコマンドを使う）
– $ cat secure* | ./ymd.sh | awk '$5=="Failed" &&
$6=="password"{print $1}' | sort | count 1 1


● アタックの多かった日のランキング
● $ cat secure* | ./ymd.sh | awk '$5=="Failed" &&
$6=="password"{print $1}' | sort | awk 'BEGIN{a=0;d=0}
{if(d!=$1){print d,a;d=$1;a=1}else{a++}}END{print d,a}' | tail
-n +2 | sort -k2,2nr | head -n 3
20110602 12525
20110613 9354
20110614 3929
● 6月2日を見てみましょう
● $ cat secure* | ./ymd.sh | awk '$1==20110602' > hoge


お題D-2：不正アクセス検知
● 以下の場合、パスワードが破られた可能性
● あるIPからのログインがやたら失敗するが、
一回以上成功している。


#!/bin/bash

./ymd.sh < /dev/stdin |
awk '$6=="password"' |
awk '$5=="Failed" || $5=="Accepted"' |
awk '{for(i=1;i<=NF;i++){if($i~/[0-9][0-9]*.[0-9]*.[0-9]*.[0-9]*/){print $i,$5}}}' |
#$1: IP $2: Failed or Accepted
sort -k1,2 |
awk 'BEGIN{str=0;c=0}{if(str!=$0){print str,c;str=$0;c=1}else{c++}}' |
#$1: IP $2: Failed or Accepted $3:回数
tail -n +2 |
awk 'BEGIN{str=0}{if(str==$1){printf(" %s %sn",$2,$3)}else{printf("n%s",$0);str=$1}}' |
#AcceptedとFailureが両方存在するレコードを抽出
awk 'NF>3{print $1,$3,$5}' |
#$1:IP $2:成功の数 $3:失敗の数
#失敗の方が回数が多いレコードを抽出
awk '$2<$3'


● ユニケージ版
#!/bin/bash

./ymd.sh < /dev/stdin |
awk '$6=="password"' |
awk '$5=="Failed" || $5=="Accepted"' |
awk '{for(i=1;i<=NF;i++){if($i~/[0-9][0-9]*.[0-9]*.[0-9]*.[0-9]*/){print $i,$5}}}' |
#$1: IP $2: Failed or Accepted
sort -k1,2 |
count 1 2 |
#$1: IP $2: Failed or Accepted $3:回数
yarr num=1 |
awk 'NF==5' |
self 1 3 5 |
#$1:IP $2:成功の数 $3:失敗の数
#失敗の方が回数が多いレコードを抽出
awk '$2<$3'


お題E:データの連結（join操作）
Jan 01
Feb 02
● 次のファイルを連結 Mar 03
Apl 04
● マスタ： May 05
Jun 06
月（英字）と月（数字）の対応表 Jul 07
Aug 08
● トランザクション：secureログ Sep 09
Oct 10
● トランザクションにマスタをくっつけて、 Nov 11
Dec 12
Jan, Feb, Mar, ...を取り除くマスタファイル

Jun 26 07:50:03 hoge01 ...
Jun 26 07:51:56 hoge01 ...
Jun 26 07:51:56 hoge01 ...
Jun 26 07:51:58 hoge01 ...
Jun 26 07:51:58 hoge01 ...

トランザクションファイル

● ちなみにユニケージだとこれだけ
#!/bin/bash

tmp=/tmp/$$

sort -k1,1 ./MONTHS > $tmp-master

cat ../secure* |
cjoin1 key=1 $tmp-master - |
delf 1

rm $tmp-master
exit 0

06 26 07:51:56 hoge01 sshd[12945]: pam_unix(sshd:auth): ...
06 26 07:51:58 hoge01 sshd[12945]: Failed password ...
06 26 07:51:58 hoge01 sshd[12946]: Connection closed by 122.176.82.13
...

● awkとsortでもなんとかなる
#!/bin/bash

tmp=/tmp/$$

sort -k1,1 ./MONTHS |
awk '{print $1,"00",$2}' > $tmp-months

cat ../secure* |
sort -k1,1 |
sort -m $tmp-months - |
awk '{if($2=="00"){v=$3}else{$1=v;print}}'

rm -f $tmp-*
exit 0


3.まとめ
● awkでテキストデータと戯れる
● このスライドのawkの数：62個
● 地味。腹筋なみに地味
● パズルと思えばおもしろい

● 重要：OSや基盤技術に非常に近い場所での作業
– 標準入出力、ログ、HTTP、HTML、・・・
– マウスを多用するようなツールをたくさん覚えるよりは有意義

● これも重要：一緒に勉強したい方、USP友の会まで

4. 発表後記
● 全部awkで何とかしろということではありません
● コマンドを覚えて、より短いスクリプトを書きましょう
– 短さはシェルスクリプトの最大の利点
● やりたい処理ができなかったら、その場はawkで
なんとかして後からコマンドを調べる

● 言い忘れたこと
● USP出版で「プログラミング言語awk」扱ってます
– http://www.usp-lab.com/pub/book.awk.html


Linux女子部第二回勉強会usp友の会

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (18)

Similar to Linux女子部第二回勉強会usp友の会

Similar to Linux女子部第二回勉強会usp友の会 (20)

More from Ryuichi Ueda

More from Ryuichi Ueda (20)

Recently uploaded

Recently uploaded (9)

Linux女子部第二回勉強会usp友の会