Download as PDF, PPTX
![フィルタ処理
• 引数に与えられたファイルまたは
標準入力に対して特定のテキスト処理を行う
• grep, cut, sed, awk, sort, uniq
!
• 以降では，cmd [input] と表記した場合
[input]にはファイル名が入るが，省略した場合は
標準入力を使用する](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-25-320.jpg)
![grep
• grep expr [input]
• exprにマッチする行を出力する
• grep -v expr [input]
• exprにマッチしない行を出力する
• grep -r expr /some/path
• /some/path配下からexprにマッチするファイル
およびその箇所を出力する](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-26-320.jpg)
![cut
• cut -d <delim> -f num [input]
• <delim>を区切り文字として，num番目の列を
出力する
• numには 1,3-5 (1と3-5行目)のように範囲を指
定できる](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-29-320.jpg)
![sed
• sed expr [input]
• 入力を行ごとにexprに従って処理する
• expr
• s/[pat1]/[pat2]/g # pat1をpat2に置換する
• patに / が含まれる場合はエスケープが必要
• 区切り文字は別のものでも良い (@,#,%など)](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-31-320.jpg)
![awk
• awk expr [input]
• テキスト処理のために作られたスクリプト言語
• 行単位で処理を行う
• デフォルトで空白をいい感じに扱ってくれる
• 空白とタブが混じっていても大丈夫
• cutで崩れるような場合に便利](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-33-320.jpg)
![sort
• sort [input]
• 入力をソートする (ソートキーを変更可能)
• -t <delim> # 区切り文字をdelimにする
• -k <key1> # key1から行末をソートキーにする
• -b # 行頭のスペースを無視
• -r # 降順
• -i # ignore case](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-37-320.jpg)
![uniq
• uniq [input]
• 重複する行を消して出力
• -c # 消した行数をカウントする
!
• sort と組み合わせて使うことが多い](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-38-320.jpg)
![find
• 演習3 解答:
• find /Users -name .DS_Store ¦ xargs rm -f
!
• find /Users -name .DS_Store
• /Users以下に含まれる.DS_Storeを検索
• xargs rm -f
• rm -f [.DS_Store1] [.DS_Store2]…](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-44-320.jpg)
![access.log
• gzipで圧縮されているものを読むには
• gunzip -c [files]
• zcat [files]
• zcatの方がタイプ数が少なくコマンド名が直感的
(個人の主観)](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-66-320.jpg)
![access.log
• gzipで圧縮されているものを読むには
• gunzip -c [files]
• zcat [files]
• zcatの方がタイプ数が少なくコマンド名が直感的
(個人の主観)](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-67-320.jpg)
![auth.log
• ログインなど資格情報の使用記録
• /var/log/auth.log
• アーカイブはauth.log.<number>[.gz] の形
!
• 不正ログインしようとしたIPとそのユーザー名につ
いて調べてみる](https://image.slidesharecdn.com/rnccshell-150903123759-lva1-app6892/85/slide-71-320.jpg)
![[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...](https://cdn.slidesharecdn.com/ss_thumbnails/220204nonakadl1-220204025334-thumbnail.jpg?width=640&height=640&fit=bounds)
シェル芸初心者によるシェル芸入門 (修正版)
- 1.
- 2. $ whoami • @icchyr •某濃厚な大学のB3 • Activity • CTF (tuat_mcc, TokyoWesterns) • ICPC (nocow) など
- 3.
- 4.
- 5. シェル芸を覚えるメリット • あらゆる処理を一撃で終わらせられる • カッコイイ •便利 ! • 基本的にパイプで繋ぐので超高速 • マルチプロセスの恩恵をフルに授かれる
- 6. シェル芸を覚えるデメリット • 敬遠される • 一般人から見るとキモい ! •シェルが使えない環境に苛立ちを覚えるようになる • Windowsを消したくなる衝動に駆られる
- 7. シェルの機能を理解する • IO • パイプ •リダイレクト • フィルタ処理 • 内部展開 • 制御構文
- 8.
- 9. IO (Input andOutput) Linuxの入出力は大きく分けて3つ 標準入力 標準出力 エラー出力 IOには番号(File Discriptor)が割り振られている 標準入力 0, 標準出力 1, エラー出力 2 普通の出力は1番 エラーメッセージは2番
- 10. IO (Input andOutput) ターミナル(端末)には識別番号がつけられている コンソールから直接ログイン → tty ターミナルエミュレータ → pts (仮想tty) tty pts tty/1 tty/2 tty/3 tty/4 tty/5 tty/6 tty/7 pts/0 pts/1 pts/2 pts/3 pts/4 pts/5 pts/6 pts/7 接続するたびに増える ．．．
- 11. IO (Input andOutput) 現在開いているターミナルエミュレータは tty/7で起動したGUIから仮想的に接続しているもの ttyを切り替えるには Ctrl + Alt + F1~7を押す (tty/1~7)
- 12. IO (Input andOutput) ターミナルに出力されているのは 自身のターミナル識別番号に出力された結果 $ ls -la total 184 drwxr-x--x 21 root ubuntu… drwxr-xr-x 6 root root… …. /dev/pts/0
- 13. IO (Input andOutput) 実際は出力をデバイスファイルに書き込んでいる cat ls.bash /dev/pts/10 /proc/self/fd/1 現在のprocess自身の ファイルディスクリプタ1番(標準出力) シンボリックリンク ls -la pts/10 シェルが書き込む /dev/stdout
- 14. リダイレクト シェルでは コマンドの出力を任意のファイルに書き出す コマンドへの入力を任意のファイルから行う ことが可能 例 ls -l >res.txt ls -l の結果がres.txtに書き込まれる bash < cmd.txt cmd.txtに書かれた内容を実行
- 15. リダイレクト ls -l >res.txt ls -l /proc/self/fd/1 res.txt (新規作成)
- 16.
- 17. リダイレクト リダイレクトを組み合わせることもできる bash < cmd.txt> res.txt cmd.txtに書かれた内容をbashで実行し， その結果をres.txtに書き出す コマンド >> output と書くとoutputの末尾に追加する $ echo -n “hoge” > out $ echo -n “fuga” >> out $ cat out hogefuga
- 18. リダイレクト • リダイレクト先をfile descriptor(fd)で指定できる • grep -r / 2>/dev/null # エラー出力を無視 • grep -r / 2>&1 # エラー出力を標準出力 ! • &(fd number)でfdをファイルのように扱える
- 19. パイプ コマンドの実行結果を次のコマンドの入力にする 例). headは標準入力の先頭10行を出力する $ ls-la > ls.result $ head < ls.result ls.resultというファイルを通じて実行結果を見る ! $ cat ls.result | head headに対する入力を”|”(パイプ)を通じて行う “|” - JIS配列ならBackSpaceの左にあるキー
- 20.
- 21. パイプ 内部的に何が起こっているか ! ! $ cat ls.result> tmp $ head < tmp ptscat ls.result | head head cat ls.result head < {cat ls.result の結果}
- 22. パイプ cat ls.result とls -la の出力結果は同じ ! ! それぞれのコマンドは 完全に独立した動き ptsls -la | head head ls -la の実行結果 入力の先頭10行
- 23. 内部展開 • シェルではコマンドの実行結果をそのまま展開して 用いることができる • `command`(バッククオートで囲む) • $(command) (先頭に$をつけたカッコで囲む)
- 24. 内部展開 • 内部では別プロセスが立ち上がり，その結果が展開 される (後述するxargsで似たような処理が可能) file`which ls` which ls file /bin/ls /bin/ls /bin/ls: ELF 64-bit LSB Executable…
- 25. フィルタ処理 • 引数に与えられたファイルまたは 標準入力に対して特定のテキスト処理を行う • grep,cut, sed, awk, sort, uniq ! • 以降では，cmd [input] と表記した場合 [input]にはファイル名が入るが，省略した場合は 標準入力を使用する
- 26. grep • grep expr[input] • exprにマッチする行を出力する • grep -v expr [input] • exprにマッチしない行を出力する • grep -r expr /some/path • /some/path配下からexprにマッチするファイル およびその箇所を出力する
- 27. grep • 演習1: /home以下から現在ログインしているユー ザーの名前を含むファイルを全て列挙して下さい •ただしバイナリファイルのマッチ結果および エラー出力(permission deniedなど)は出力しては なりません． • また，どの環境で実行しても同じ処理ができるよう にして下さい． (bashで)
- 28. grep • 演習1 解答: •grep -r `whoami` /home ¦ grep -v matches 2>/dev/null ! • grep -r と grep -v はよく使う • エラーが多すぎる場合は/dev/nullに投げて無視
- 29. cut • cut -d<delim> -f num [input] • <delim>を区切り文字として，num番目の列を 出力する • numには 1,3-5 (1と3-5行目)のように範囲を指 定できる
- 30. cut • 例) • cat/etc/passwd ¦ cut -d : -f1,6 • 全ユーザー名とログインシェルを列挙
- 31. sed • sed expr[input] • 入力を行ごとにexprに従って処理する • expr • s/[pat1]/[pat2]/g # pat1をpat2に置換する • patに / が含まれる場合はエスケープが必要 • 区切り文字は別のものでも良い (@,#,%など)
- 32. sed • 例) • cat/etc/passwd ¦ sed s/bash/zsh/g • 全ユーザーのログインシェルをbashからzshに変更 • 結果は出力されるだけ • 反映させたい場合は-iオプションとファイルを指定 • 対象ファイルへのwrite権限が必要
- 33. awk • awk expr[input] • テキスト処理のために作られたスクリプト言語 • 行単位で処理を行う • デフォルトで空白をいい感じに扱ってくれる • 空白とタブが混じっていても大丈夫 • cutで崩れるような場合に便利
- 34. awk • 処理の流れ • BEGIN{ statement } # 開始処理 (pattern) { statement } … END { statement } # 終了処理 • BEGINとENDは無くてもよい • patternにマッチするとその中身が実行される
- 35. awk • 例) /etc/passwdでbashとnologinの数を計算 •/bash/ { ++bash } • /nologin/ { ++nologin } • END { print bash: bash, nologin: nologin} • 宣言されていない変数は自動的に初期化される • awk /bash/{++bash} /nologin/{…
- 36. awk • 標準でさまざまな変数が用意されている • NR=> 処理中の行番号 (1 index) • $n => 分割後のn番目の要素 ($0は行全体) • ps aux ¦ awk NR>1 {print $1} • 現在のプロセスIDを全列挙
- 37. sort • sort [input] •入力をソートする (ソートキーを変更可能) • -t <delim> # 区切り文字をdelimにする • -k <key1> # key1から行末をソートキーにする • -b # 行頭のスペースを無視 • -r # 降順 • -i # ignore case
- 38. uniq • uniq [input] •重複する行を消して出力 • -c # 消した行数をカウントする ! • sort と組み合わせて使うことが多い
- 39. フィルタ処理 • 演習2: rootが動かしているプロセスのうち，メモ リ使用率が高いものから順番にPIDを10個出力して 下さい •まずはrootが動かしているプロセスを列挙 • メモリ使用率でソートするためには? • 先頭N行出力するコマンドはhead -n N
- 40. フィルタ処理 • 演習2 解答: •ps aux ¦ grep ^root ¦ awk {print $4,$2} ¦ sort -r ¦ head ¦ cut -d -f2 ! • awkで出力順序を変更してソートしやすくする
- 41. xargs • xargs cmd •引数を標準入力から受け取りコマンドを実行 • 標準入力が複数行ある場合 一行に連結して実行する • cat filelist.txt ¦ xargs rm # => rm file1 file2 file3 file4… # filelist.txtに含まれるファイルを消去する
- 42. find • find <path><expr> • pathからexprにしたがって検索を実行する • expr (よく使うもの) • -name <filename> • filenameに一致したファイルのパスを出力する
- 43. find • 演習3: /Users以下に存在する.DS_Storeを全て削 除して下さい ! •憎き.DS_Storeを殺せ
- 44. find • 演習3 解答: •find /Users -name .DS_Store ¦ xargs rm -f ! • find /Users -name .DS_Store • /Users以下に含まれる.DS_Storeを検索 • xargs rm -f • rm -f [.DS_Store1] [.DS_Store2]…
- 45.
- 46.
- 47. 危険シェル芸 • マウスも使わず，ソースコードも残さず， GUIツールを立ち上げる間もなく， あらゆる破壊・迷惑・自滅行為を CLI端末へのコマンド入力一撃で終わらすこと． ! • 引用元:http://blog.ueda.asia/?page_id=3752
- 48. :(){: ¦ :&};:
- 49. :(){: ¦ :&};: •:() • : という関数を定義 • {: ¦ :&}; : • :を:にパイプで繋ぐのをバックグラウンドで実行 ! • 無限にプロセスが増殖する
- 50. :(){: ¦ :&};: •言わずと知れたフォーク爆弾 ! • Dockerからやるとホストが死ぬらしい ! • 要は実行するな
- 51. ps aux ¦grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9
- 52. ps aux ¦grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9 • ps aux • プロセスを全列挙 • ¦ grep bash • bashプロセスを抽出 • ¦ grep -v $$ • $$ (自分自身)を除外する
- 53. ps aux ¦grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9 • ¦ awk {print $2} • PIDを列挙し • ¦ xargs kill -9 • kill する ! • つまり自分以外のbashを全員殺す
- 54.
- 55.
- 56. 制御構文 • シェル(bash)では多くの制御構文がサポートされて いる • よく使うもの •for, while read • {} (ブロック)
- 57. for • 言わずと知れたfor文 • 少し癖がある ! •$ for((i=0;i<10;i++)) > do > echo $i > done
- 58. for • bashならば0 9までの数字が一行ずつ出力される •for((i=0…の書き方は zshならparse error (下の例ならzshでもOK) ! • $ for i in `seq 0 9` > do > echo $i > done
- 59. for • seq startend • start から endまでの数字を順に出力 • seq start d end • start から endまでの数字をdおきに出力 ! • for((i=0;i<10;i+=2)) ==> for i in `seq 0 2 9`
- 60. while • while cond •condがtrueの間続く処理をループする ! • $ while true > do > echo hoge > done
- 61. while • while readline • 標準入力から一行ずつ$lineに読み込む • $lineを参照することで行単位の処理が可能 • $ cat filelist.txt ¦ while read line > do > rm $line > done # filelist.txtに書かれているファイルを削除
- 62. {} (ブロック) • 複数コマンドの処理をひとまとめにしたもの •パイプで繋げることができる • 制御構文を使わなくとも複数行の処理を行える • 内部で変数に一旦保存したい時とか便利
- 63.
- 64.
- 65. access.log • Apacheのログ • /var/log/apache/以下にある •一定時間経つとgzipで圧縮して保存 • 最新のものは*.log
- 66. access.log • gzipで圧縮されているものを読むには • gunzip-c [files] • zcat [files] • zcatの方がタイプ数が少なくコマンド名が直感的 (個人の主観)
- 67. access.log • gzipで圧縮されているものを読むには • gunzip-c [files] • zcat [files] • zcatの方がタイプ数が少なくコマンド名が直感的 (個人の主観)
- 68. access.log • だが実際にはplain textとgzip圧縮されたテキスト 両方を見たい •zcat -f (̶force) オプションをつけると普通の テキストデータも表示してくれる ! • grep前提ならばzgrepでもよい(こちらはオプショ ン無しでも両方のデータをgrepしてくれる)
- 69. access.log • zcat -f/var/log/apache/*access* • 全てのaccess.logが得られる • ¦ grep () • ShellShockのアレ • ¦ awk {print $1} • IPを表示
- 70. access.log • ¦ sort •ソートする • ¦ uniq -c • 重複するIPをカウント ! • 怪しげなリクエストを送ってきたIPの統計が出る
- 71. auth.log • ログインなど資格情報の使用記録 • /var/log/auth.log •アーカイブはauth.log.<number>[.gz] の形 ! • 不正ログインしようとしたIPとそのユーザー名につ いて調べてみる
- 72. auth.log • zcat -f/var/log/auth.log* • アーカイブを含む全てのauth.logを出力 • ¦ grep sshd • sshのイベントを抽出 • ¦ grep Invalid • Invalid user <username> from <IP address> のログを抽出
- 73. auth.log • ¦ awk{print $10,$8} • 8番目(username)と10番目(IP address)を抽出 あとでソートしやすくするために順番を逆にする • ¦ sort • ソート • ¦ uniq -c • 重複するものをカウント (IP別のユーザー名)
- 74. auth.log • ¦ sort-g -r # -g: 数字をいいカンジにソート • カウントの回数について降順にソート ! • awkで抽出する列を • 8のみにするとユーザー名 • 10のみにするとIP別の統計が取れる
- 75. auth.log • 結果 • adminが超人気 •次点でtest,apacheがいい勝負 ! • 実在しそうなユーザーを狙ってきてる • 他に代表的なものとしては vagrant,pi,oracle,ubuntuなど
- 76.
- 77. auth.log • 単にカウントするだけでは試行回数が多ければ多い ほど上位に来てしまう • username別に何種類のIPから試行されたかカウン トする方が現実的 ! •先にusernameでソートをかけ，IPの重複を排除し てからもう一度ソートをかける
- 78. auth.log • zcat -fauth.log* ¦ grep sshd ¦ grep Invalid • ¦ awk {print $8,$10} ¦ sort ¦ uniq • username,IPの順にソートをして同一IPを排除する • ¦ cut -d -f1 ¦ sort • もう一度usernameでソートをかける • ¦ uniq -c ¦ sort -g -r • username毎にIPの種類数でカウントされる
- 79. auth.log • 結果 • やはりadminが大人気 •vagrantが割と狙われている • test,userなどの適当な名前も割とある • xbmc,ftpなどサービス用のアカウント を狙っているのも多い
- 80.