Download as PDF, PPTX
More Related Content
![[IGC 2017] 펄어비스 민경인 - Mmorpg를 위한 voxel 기반 네비게이션 라이브러리 개발기](https://cdn.slidesharecdn.com/ss_thumbnails/mmorpgvoxel-170905061528-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Basic 7] OS の基本 / 割り込み / システム コール / メモリ管理](https://cdn.slidesharecdn.com/ss_thumbnails/basic-07-180228134341-thumbnail.jpg?width=640&height=640&fit=bounds)
インフラ部門で働くCプログラマの話
- 1. インフラ部⾨で働くC プログラマの話 2016.10.18 KLab勉強会#7 ⼭本雅也 / KLab Inc.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. miruo Pretty-Print TCP sessionmonitor/analizer miruo を⼀⾔で説明するなら「⾒やすい tcpdump」です。当社⽐10倍です、ISUCON 勢に オススメです。TCPセッション毎にパケットをまとめて出⼒するため、パケットの流れが格 段に追いやすくなります。また、問題のなさそうなパケットはあえて省略して表⽰しないの で、興味のありそうなパケットだけが出⼒されます。 $ ./miruo --all -i en0 -m http tcp port 80 listening on en0, link-type EN10MB (Ethernet), capture size 1522 bytes 0001 0.048 | 10.0.0.100:62511 == 125.6.190.6:80 | Total 21 segments, 13397 bytes 0001:0000 17:27:30.093 | SYN_SENT >----S-> SYN_RECV | 1B5B2031/00000000 78 - <mss=1460, 0001:0001 17:27:30.099 | ESTABLISHED <-A--S-< SYN_RECV | 5F9DC421/1B5B2032 78 - <mss=1460, 0001:0002 17:27:30.099 | ESTABLISHED >-A----> ESTABLISHED | 1B5B2032/5F9DC422 66 - <timestamp 0001:0003 17:27:30.099 | ESTABLISHED >-AP---> ESTABLISHED | 1B5B2032/5F9DC422 572 - <timestamp DPI:HTTP:RequestLine >>>> GET /archives/51977201.html HTTP/1.1 DPI:HTTP:Header >>>>>>>>> Host: dsas.blog.klab.org 0001:0004 17:27:30.125 | ESTABLISHED <-AP---< ESTABLISHED | 5F9DC422/1B5B222C 1514 - <timestamp DPI:HTTP:ResponseLine >>> HTTP/1.1 200 OK 0001:**** | | 0001:0016 17:27:30.136 | ESTABLISHED <-A---F< FIN_WAIT1 | 5F9DF149/1B5B222C 66 - <timestamp 0001:0017 17:27:30.136 | CLOSE_WAIT >-A----> FIN_WAIT2 | 1B5B222C/5F9DF149 66 - <timestamp 0001:**** | | 0001:0019 17:27:30.136 | LAST_ACK >-A---F> FIN_WAIT2 | 1B5B222C/5F9DF14A 66 - <timestamp 0001:0020 17:27:30.142 | CLOSED <-A----< TIME_WAIT | 5F9DF14A/1B5B222D 66 - <timestamp
- 13.
- 14.
- 15.
- 16.
- 17. rlogd ログの収集に syslog（syslog-ng）を使ってきたが、コンフィグの⿊魔術化などいろいろつ らかった。候補として fluentdを検証したが、諸々の事情で導⼊を⾒送ったので欲しいもの を⾃分で作った。 Better syslog を求めて開発したログ収集システム fluentd を使わなかった諸々の事情 ・”ruby: command not found” ・メモリリークと思われる挙動に遭遇（当時バージョン） ・アプリケーションレイヤで ACK のやり取りをしていない（当時バージョン） → 絶妙なタイミングで TCP が切断されるとログが消失してしまう可能性があった
- 18. rlogd 参考にした部分 ・タグベースでのログ振り分け ・input / outputのプラグイン機構 ・バッファリングと再送機構 ・コンフィグ構⽂ その他の特徴 ・省メモリ（10MB程度） ・書き出し側をブロックさせない ・ログを消失したら切腹 😇 fluentd を参考にC⾔語で実装 <source> type forward bind unix:///var/run/rlogd/rlogd.sock </source> <source> type forward bind 0.0.0.0:10381 label forwarded </source> <match example.**> type forward target 127.0.0.1:10381 buffer_path /var/run/rlogd/buf/ </match> <label forwarded> <match example.acc.**> type file # time_format %s # format $time $tag: $record path /var/run/rlogd/logs/example/%Y-%m-%d/acc_%H%M.log </match> <match example.err.**> type file path /var/run/rlogd/logs/example/%Y-%m-%d/err_%H%M.log </match> <match example.app.**> type file path /var/run/rlogd/logs/example/%Y-%m-%d/app_%H%M.log </match> </label>
- 19.
- 20.
- 21. OSSへのコントリビュート インフラに限らず、KLab では多数の OSSを利⽤しています。KLabが開発して公開してい るものもありますが、他のプロジェクトの成果を利⽤させてもらっているケースが圧倒的に 多いです。トラブルに⾒舞われた場合にはコードを解析して修正することも珍しくなく、開 発元へのフィードバックを積極的に⾏っています。 他にも、⾃分が興味を持ったプロダクトへのコントリビュートを業務として⾏っています。
- 22. OSSへのコントリビュート 雑に⾔うと、組み込みや IoT デバイス向けにC で実装された fluentd のサブセット ・IPv6 対応と BSD 系 OS への移植 ・プラグインの実装（in_mem / out_stdout） Linux を NAT64 ゲートウェイとして機能させるためのカーネルモジュール ・Netfilter の API が Kernel 4.1 で変更になっていたので対応させた ・namespace 周りの処理でクラッシュしそうな箇所があったので修正 Linux でロードバランサ（LVS）を構築する際に IPVS と組み合わせて使う KLabでは keepalived-extcheck.patch という独⾃パッチを作って運⽤中 ・この独⾃パッチを全⾯的に書き直して本家へ統合を提案（マージ済み） ・別件で、keepalived のプロセスが増殖してしまう問題を修正中（WIP）
- 23.
- 24.
- 25.