kernel/vm@okinawa 2014

GDBでの
kernel読み入門
+おまけ
@y0t4

自己紹介
• 太田陽祐
• Ingress Enlightened Agent
L8
• 琉球大学院生
• Twitter: y0t4
• 浅く広くな人

今日話すこと
• GDBでのkernel読み入門
• (停電におびえながら)学科システムの
OSメジャーバージョンアップをした話
• 未対応なWindowsにvCenterとか入れた話
時間が許す限り話していこうと思います

「入門」とあるように、ポイントや
引っかかる(引っかかっている)部分を
紹介します。

動機
• 「Linux kernelのソースとか読んでみたいよね」
!
＿人人人人人人＿
＞　単純明快　＜
‾Y^Y^Y^Y^Y‾
GDBでのkernel読み入門

ソースを読む方法
• エディタで読む
• デバッガで読む
• パッチで読む
• printfで読む
kernelの実行に則して読みたかったので
デバッガを使うことに決定

環境
• OS: CentOS 6.5 (kernel 3.9.2)
• 去年の講義で使ったものを流用したので古めなバージョン
• CPU: Intel(R) Xeon(R) CPU
X5650@2.67GHz

やったこと
1. KVMホストとVMを用意
2. KGDB機能を有効化したkernelをビルド
3. ビルドしたkernelをVMに適用
4. KGDBのbootパラメータを設定
5. -sオプションを使ってVM起動
6. ホストからgdbで接続する(symbolはvmlinux)
7. 読む -> とりあえずネットワーク通信部分とか

構成図
ホストコンピュータ
$ gdb vmlinux
(gdb)target remote :1234
kernel
VM
kernel
KGDB
qemu-kvm
• KVMホストと
VMの関係は
図のような感じ

KGDB
• Linux kernelのデバッガフロントエンド
$ make menuconfig
Kernel hacking ->
Compile the kernel with debug info
KGDB: kernel debugger ->
KGDB: use kgdb over the serial console
以下、カーネルコマンドライン部に追記
kgdboc=ttyS0,115200 console=ttyS0,115200

qemu-kvm
• KVMに対応したCPUエミュレータ
$ qemu-kvm --help
-s shorthand for -gdb tcp::1234
-gdb dev wait for gdb connection on ‘dev'
!
qemu-kvmに-sオプションをつけて起動すると
(gdb)target remote :1234
で接続可能

qemu-kvm
qemu-kvmはオプションが多くコマンドが長い

qemu-kvm
• LC_ALL=C PATH=/sbin:/usr/sbin:/bin:/usr/bin /usr/libexec/qemu-kvm -name
kernelvm -S -M rhel6.4.0 -enable-kvm -m 8192 -smp
8,sockets=8,cores=1,threads=1 -uuid 98767ead-25f4-3f15-5807-fa099bbb0dfd -
nographic -nodefconfig -nodefaults -chardev socket,id=charmonitor,path=/var/lib/
libvirt/qemu/kernelvm.monitor,server,nowait -mon
chardev=charmonitor,id=monitor,mode=control -rtc base=utc -no-shutdown -
device piix3-usb-uhci,id=usb,bus=pci.0,addr=0x1.0x2 -drive file=/tmp/
Centos.img,if=none,id=drive-virtio-disk0,format=raw,cache=none -device virtio-blk-pci,
scsi=off,bus=pci.0,addr=0x4,drive=drive-virtio-disk0,id=virtio-disk0,bootindex=1
-drive if=none,media=cdrom,id=drive-ide0-1-0,readonly=on,format=raw -device ide-drive,
bus=ide.1,unit=0,drive=drive-ide0-1-0,id=ide0-1-0 -netdev
tap,fd=22,id=hostnet0,vhost=on,vhostfd=24 -device virtio-net-pci,
netdev=hostnet0,id=net0,mac=52:54:00:89:7c:1b,bus=pci.0,addr=0x3 -chardev
pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -device virtio-balloon-
pci,id=balloon0,bus=pci.0,addr=0x5
(/var/log/libvirt/qemu/kernelvm.imgより)

libvirt
“libvirtは仮想機械の制御を抽象化したライブラリで
ある。(wikipedia)”
!
• 起動
• virsh start [vm名]
!
<qemu:commandline>
<qemu:arg value='-s'/>
</qemu:commandline>

gdb
• VMを起動したら
$ gdb vmlinux
(gdb) target remote :1234
でgdbからVMのkernelにアクセスできる
!
これで読む準備は終わり

ハマった場所
• architecture
• opaque pointer
• compilerの最適化
• macroなソースコード
• SIGTRAP
• KGDB: Waiting for remote debugger

architecture
• “Remote 'g' packet reply is too long:”
とかいうエラーが出る
• (gdb) set architecture i386:x86-64:intel
で解決

opaque pointer
• (gdb) p *msg->msg_name
Attempt to dereference a generic pointer.
(gdb) p msg->msg_name
$1 = (void *) 0xffffffff8105ec01
• データが未定義なだけなので、
定義されてからpするとかで解決

compilerの最適化
• 読みたい変数とかを print すると
<value optimized out>
• Makefileに
EXTRA_CFLAGS += -O0
を記述

• 読みたい変数とかを print すると
<value optimized out>
• Makefileに
EXTRA_CFLAGS += -O0
を記述
mm/ に-O0を記述すると
kernel makeが通らない！(net/は通る)

• 助けを求める

最適化でprintできなくても
レジスタに値は残ってるでしょ
それを読むんだよ
それがバイナリハッカー

な...なるほど...(ﾟ∇ﾟ;)

解決してないけど解決

macroなソース
• (gdb) l
308 BUILDIO(b, b, char)
(gdb) l BUILDIO
Function "BUILDIO" not defined. (マクロだし)

macroなソース
• (gdb) l
(gdb) l BUILDIO
マクロ展開して
make頑張ってみたら

macroなソース
• (gdb) l
(gdb) l BUILDIO
マクロ展開して
make頑張ってみたら
(g3オプションとかじゃダメかな...)

SIGTRAP
• breakpointをdelした後に
Program received signal SIGTRAP, Trace/
breakpoint trap.
と別の場所に飛ばされる(ことがある)
それっぽいページ
は発見
http://stackoverflow.com/questions/9809413/program-received-
signal-sigtrap-trace-breakpoint-trap

KGDB: Waiting for remote
debugger
• エラー再現が上手くいかないエラー
VM側のコンソール上に上記のエラーが出力
解決方法模索中です...

今後の読む方針
ていうかどこから読んでるの

nmをsockでgrepしてでてきた私
sock_create辺りから読んでます

それはセンスがない
read, writeから読むのが楽だから

それはセンスがない
read, writeから読むのが楽だから
なるほど！！！

まとめ
• 濁流に飲まれてる感
• いろんなところで突っかかって楽しい
• 知らない人だけでやると
どう手をつけたらいいか分からない
• 誰か知ってる人が近くに居ると良さそう
gdbを諦めて
本を読むという手も...

• linuxのkernelをgdbで追いかけたかった話

きっかけ
• 「CentOS6が出てそろそろ1年くらい経つし、
夏休みでちょうどいいからそろそろ
CentOS5->6にしたいよね」
• という話がシステム管理なチーム内で出て、
バージョンアップすることに。
学科システムアップグレード

前提知識
• 琉球大学情報工学科では学科システムを学生が
管理している
• 以前は「学生実験」の1テーマとして、
現在は希望者制
• 学科システムはDNSやDHCP、Webなどの
サーバ群から学科ネットワーク、学生へのVM貸
し出し、先生への対応など広い範囲を担当

やること
• 基幹サーバ群のOSメジャーバージョンアップ
• Web, DNS*, DHCP, LDAP*, SMTP, IMAP,
RADIUS, SHELL
• 基幹サーバはESX上のVM

懸念事項
• 引き継ぎ資料が無い
• 人手不足(学生5人)

懸念事項
• 作業日に台風直撃コース

琉球大学と台風
• 大学構内はとにかく台風に弱い
• すぐ停電する
• 全然復旧しない

琉球大学と台風
• 大学構内はとにかく台風に弱い
• すぐ停電する
• 全然復旧しない
ここから見える景色全部
電気ついてるのに
大学は停電中とか...

懸念事項
つらいけどグーグル様に...

懸念事項
ヤバい

いや、待てよ
• 旧サーバと新サーバを
停電になった時に入れ替え
ればいいのでは
• そうすればユーザにはいつ
入れ替えたのか
分からない

(暴風)雨天決行
今思えば完全に間違った判断でした。

RTA開始
• 旧サーバから新サーバへconfをコピーしたり
• CentOS5から6でconfの置き場所が変わってる
• 必要なのかそうでないのか分からない設定群
• ドキュメントがないため
• 当然なかなか上手くいかず
!

RTA開始
• 旧サーバから新サーバへconfをコピーしたり
• CentOS5から6でconfの置き場所が変わってる
• 必要なのかそうでないのか分からない設定群
• ドキュメントがないため
• 当然なかなか上手くいかず
• 迫る台風
• 停電の恐怖

作業時間
• 2012年 9月 15日 18:00 ~

幸運だったこと
• 事前準備でパッケージは入れていた
• 全サーバ共通項目
の洗い出し

引き継ぎ大事
• 一部のサーバにはNICが2つついてた
• VLAN帯が違うサーバ
• LDAPの独自スキーマ
• DNSはpostgresqlから引っ張ってくる
• DHCPはmac-addr認証

困難を乗り越え
• なんとかサーバが起動するところまではきた
• ちょっと休憩しよう

困難を乗り越え
• なんとかサーバが起動するところまではきた
• ちょっと休憩しよう
＿人人人人＿
＞　停電　＜
‾Y^Y^Y‾

残作業
• 旧サーバから新サーバへの切り替え

残作業
• 旧サーバから新サーバへの切り替え
• 旧サーバと新サーバを
停電になった時に入れ替えれ
ばいいのでは
• そうすればユーザにはいつ入
れ替えたのか
分からない
この作戦は
どうなった

でも、大丈夫

台風当たり年でした

結局
いろいろありましたが
バージョンアップは無事終了

まとめ
• (暴風)雨天決行はやめましょう
心身に悪いです
• ある程度事前準備はしておきましょう

kernel/vm@okinawa 2014

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to kernel/vm@okinawa 2014

Similar to kernel/vm@okinawa 2014 (20)

kernel/vm@okinawa 2014