SlideShare a Scribd company logo

シェル芸初心者によるシェル芸入門

•
•
I
icchy

@rncc夏期講習 9/2

1 of 65
シェル芸初心者による シェル芸入門 #rncc夏期講習 @icchyr
$ whoami • @icchyr • 某濃厚な大学のB3 • Activity • CTF (tuat_mcc, TokyoWesterns) • ICPC (nocow) など
Agenda • シェル芸について • シェルの機能を理解する • 実用的なシェル芸
シェル芸
シェル芸を覚えるメリット • あらゆる処理を一撃で終わらせられる • カッコイイ • ���利 ! • 基本的にパイプで繋ぐので超高速 • マルチプロセスの恩恵をフルに授かれる
シェル芸を覚えるデメリット • 敬遠される • 一般人から見るとキモい ! • シェルが使えない環境に苛立ちを覚えるようになる • Windowsを消したくなる衝動に駆られる
シェルの機能を理解する • IO • パイプ • リダイレクト • フィルタ処理 • 内部展開 • 制御構文
この先スライドを使いまわすので スライドテーマがちょくちょく 変わります
IO (Input and Output) Linuxの入出力は大きく分けて3つ 標準入力 標準出力 エラー出力 IOには番号(File Discriptor)が割り振られている 標準入力 0, 標準出力 1, エラー出力 2 普通の出力は1番 エラーメッセージは2番
IO (Input and Output) ターミナル(端末)には識別番号がつけられている コンソールから直接ログイン → tty ターミナルエミュレータ   → pts (仮想tty) tty pts tty/1 tty/2 tty/3 tty/4 tty/5 tty/6 tty/7 pts/0 pts/1 pts/2 pts/3 pts/4 pts/5 pts/6 pts/7 接続するたびに増える ．．．
IO (Input and Output) 現在開いているターミナルエミュレータは
 tty/7で起動したGUIから仮想的に接続しているもの ttyを切り替えるには Ctrl + Alt + F1~7を押す (tty/1~7)
IO (Input and Output) ターミナルに出力されているのは
 自身のターミナル識別番号に出力された結果 $ ls -la total 184 drwxr-x--x 21 root ubuntu… drwxr-xr-x 6 root root… …. /dev/pts/0
IO (Input and Output) 実際は出力をデバイスファイルに書き込んでいる cat ls.bash /dev/pts/10 /proc/self/fd/0 現在のprocess自身の
 ファイルディスクリプタ0番(標準入力) シンボリックリンク ls -la pts/10 シェルが書き込む
リダイレクト シェルでは コマンドの出力を任意のファイルに書き出す コマンドへの入力を任意のファイルから行う ことが可能 例 ls -l > res.txt  ls -l の結果がres.txtに書き込まれる bash < cmd.txt cmd.txtに書かれた内容を実���
リダイレクト ls -l > res.txt ls -l /proc/self/fd/0 res.txt (新規作成)
リダイレクト bash < cmd.txt bash/proc/self/fd/0 cmd.txt ユーザー入力 /proc/self/fd/1
リダイレクト リダイレクトを組み合わせることもできる bash < cmd.txt > res.txt cmd.txtに書かれた内容をbashで実行し，
 その結果をres.txtに書き出す コマンド >> output と書くとoutputの末尾に追加する $ echo -n “hoge” > out
 $ echo -n “fuga” >> out
 $ cat out hogefuga
リダイレクト • リダイレクト先をfile descriptor (fd)で指定できる • grep -r / 2>/dev/null # エラー出力を無視 • grep -r / 2>&1 # エラー出力を標準出力 ! • &(fd number)でfdをファイルのように扱える
パイプ コマンドの実行結果を次のコマンドの入力にする 例). headは標準入力の先頭10行を出力する $ ls -la > ls.result
 $ head < ls.result ls.resultというファイルを通じて実行結果を見る ! $ cat ls.result | head headに対する入力を”|”(パイプ)を通じて行う “|” - JIS配列ならBackSpaceの左にあるキー
パイプ 内部的に何が起こっているか ptscat ls.result cat ls.result の結果
パイプ 内部的に何が起こっているか ! ! $ cat ls.result > tmp
 $ head < tmp ptscat ls.result | head head cat ls.result head < {cat ls.result の結果}
パイプ cat ls.result と ls -la の出力結果は同じ ! ! それぞれのコマンドは
 完全に独立した動き ptsls -la | head head ls -la の実行結果 入力の先頭10行
内部展開 • シェルではコマンドの実行結果をそのまま展開して 用いることができる • `command` (バッククオートで囲む) • $(command) (先頭に$をつけたカッコで囲む)
内部展開 • 内部では別プロセスが立ち上がり，その結果が展開 される (後述するxargsで似たような処理が可能) file `which ls` which ls file /bin/ls /bin/ls /bin/ls: ELF 64-bit LSB Executable…
フィルタ処理 • 引数に与えられたファイルまたは
 標準入力に対して特定のテキスト処理を行う • grep, cut, sed, awk, sort, uniq ! • 以降では，cmd [input] と表記した場合
 [input]にはファイル名が入るが，省略した場合は 標準入力を使用する
grep • grep expr [input] • exprにマッチする行を出力する • grep -v expr [input] • exprにマッチしない行を出力する • grep -r expr /some/path • /some/path配下からexprにマッチするファイル およびその箇所を出力する
grep • 演習1: /home以下から現在ログインしているユー ザーの名前を含むファイルを全て列挙して下さい • ただしバイナリファイルのマッチ結果および
 エラー出力(permission deniedなど)は出力しては なりません． • また，どの環境で実行しても同じ処理ができるよう にして下さい． (bashで)
grep • 演習1 解答: • grep -r `whoami` /home ¦ grep -v matches 2>/dev/null ! • grep -r と grep -v はよく使う • エラーが多すぎる場合は/dev/nullに投げて無視
cut • cut -d <delim> -f num [input] • <delim>を区切り文字として，num番目の列を
 出力する • numには 1,3-5 (1と3-5行目)のように範囲を指 定できる
cut • 例) • cat /etc/passwd ¦ cut -d : -f1,6 • 全ユーザー名とログインシェルを列挙
sed • sed expr [input] • 入力を行ごとにexprに従って処理する • expr • s/[pat1]/[pat2]/g # pat1をpat2に置換する • patに / が含まれる場合はエスケープが必要 • 区切り文字は別のものでも良い (@,#,%など)
sed • 例) • cat /etc/passwd ¦ sed s/bash/zsh/g • 全ユーザーのログインシェルをbashからzshに変更 • 結果は出力されるだけ • 反映させたい場合は-iオプションとファイルを指定 • 対象ファイルへのwrite権限が必要
awk • awk expr [input] • テキスト処理のために作られたスクリプト言語 • 行単位で処理を行う • デフォルトで空白をいい感じに扱ってくれる • 空白とタブが混じっていても大丈夫 • cutで崩れるような場合に便利
awk • 処理の流れ • BEGIN { statement } # 開始処理
 (pattern) { statement }
 …
 END { statement } # 終了処理 • BEGINとENDは無くてもよい • patternにマッチするとその中身が実行される
awk • 例) /etc/passwdでbashとnologinの数を計算 • /bash/ { ++bash } • /nologin/ { ++nologin } • END { print bash: bash, nologin: nologin} • 宣言されていない変数は自動的に初期化される • awk /bash/{++bash} /nologin/{…
awk • 標準でさまざまな変数が用意されている • NR => 処理中の行番号 (1 index) • $n => 分割後のn番目の要素 ($0は行全体) • ps aux ¦ awk NR>1 {print $1} • 現在のプロセスIDを全列挙
sort • sort [input] • 入力をソートする (ソートキーを変更可能) • -t <delim> # 区切り文字をdelimにする • -k <key1> # key1から行末をソートキーにする • -b # 行頭のスペースを無視 • -r # 降順 • -i # ignore case
uniq • uniq [input] • 重複する行を消して出力 • -c # 消した行数をカウントする ! • sort と組み合わせて使うことが多い
フィルタ処理 • 演習2: rootが動かしているプロセスのうち，メモ リ使用率が高いものから順番にPIDを10個出力して 下さい • まずはrootが動かしているプロセスを列挙 • メモリ使用率でソートするためには? • 先頭N行出力するコマンドはhead -n N
フィルタ処理 • 演習2 解答: • ps aux ¦ grep ^root ¦ awk {print $4,$2} ¦ sort -r ¦ head ¦ cut -d -f2 ! • awkで出力順序を変更してソートしやすくする
xargs • xargs cmd • 引数を標準入力から受け取りコマンドを実行 • 標準入力が複数行ある場合
 一行に連結して実行する • cat filelist.txt ¦ xargs rm
 # => rm file1 file2 file3 file4…
 # filelist.txtに含まれるファイルを消去する
find • find <path> <expr> • pathからexprにしたがって検索を実行する • expr (よく使うもの) • -name <filename> • filenameに一致したファイルのパスを出力する
find • 演習3: /Users以下に存在する.DS_Storeを全て削 除して下さい ! • 憎き.DS_Storeを殺せ
find • 演習3 解答: • find /Users -name .DS_Store ¦ xargs rm -f ! • find /Users -name .DS_Store • /Users以下に含まれる.DS_Storeを検索 • xargs rm -f • rm -f [.DS_Store1] [.DS_Store2]…
☕ 一旦休憩 ☕
💀 危険シェル芸 💀
危険シェル芸 • マウスも使わず，ソースコードも残さず，
 GUIツールを立ち上げる間もなく，
 あらゆる破壊・迷惑・自滅行為を
 CLI端末へのコマンド入力一撃で終わらすこと． ! • 引用元: http://blog.ueda.asia/?page_id=3752
:(){: ¦ : &};:
:(){: ¦ :&};: • :() • : という関数を定義 • {: ¦ :&}; : • :を:にパイプで繋ぐのをバックグラウンドで実行 ! • 無限にプロセスが増殖する
:(){: ¦ :&};: • 言わずと知れたフォーク爆弾 ! • Dockerからやるとホストが死ぬらしい ! • 要は実行するな
ps aux ¦ grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9
ps aux ¦ grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9 • ps aux • プロセスを全列挙 • ¦ grep bash • bashプロセスを抽出 • ¦ grep -v $$ • $$ (自分自身)を除外する
ps aux ¦ grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9 • ¦ awk {print $2} • PIDを列挙し • ¦ xargs kill -9 • kill する ! • つまり自分以外のbashを全員殺す
超迷惑なのでやめましょう
☕ 休憩おわり ☕
制御構文 • シェル(bash)では多くの制御構文がサポートされて いる • よく使うもの • for, while read • {} (ブロック)
for • 言わずと知れたfor文 • 少し癖がある ! • $ for((i=0;i<10;i++))
 > do
 > echo $i
 > done
for • bashならば0 9までの数字が一行ずつ出力される • zshならparse error ! • $ for i in `seq 0 9`
 > do
 > echo $i
 > done
for • seq start end • start から endまでの数字を順に出力 • seq start d end • start から endまでの数字をdおきに出力 ! • for((i=0;i<10;i+=2)) ==> for i in `seq 0 2 9`
while • while cond • condがtrueの間続く処理をループする ! • $ while true
 > do
 > echo hoge
 > done
while • while read line • 標準入力から一行ずつ$lineに読み込む • $lineを参照することで行単位の処理が可能 • $ cat filelist.txt ¦ while read line
 > do
 > rm $line
 > done
 # filelist.txtに書かれているファイルを削除
{} (ブロック) • 複数コマンドの処理をひとまとめにしたもの • パイプで繋げることができる • 制御構文を使わなくとも複数行の処理を行える • 内部で変数に一旦保存したい時とか便利
実用的なシェル芸
実用的なシェル芸 • ログ解析 • access.logの中身を解析してみる
まとめ • 手元で色々できて便利

More Related Content

シェル芸初心者によるシェル芸入門