過去に自作したGoプロダクトの紹介 - Goオールスターズ

1. 過去に自作した
Goプロダクトの紹介
@shogo82148

2. 自己紹介
• @shogo82148
• http://shogo82148.github.io/
• 面白法人KAYAC
• ソーシャルゲームのサーバサイドエンジニア

3. 宣伝

4. Go in KAYAC
• 2014年夏、カヤックは、Go言語を積極的に推
進していきます。
http://www.kayac.com/news/2014/07/
golang
• メインは今もPerl
• ミドルウェアや開発ツールにGoが導入されつつ
ある

5. KAYACで動いてる
Goプロダクト
• go-katsubushi: https://github.com/kayac/go-katsubushi
• snowflake-likeなIDジェネレータ
• stretcher: https://github.com/fujiwara/stretcher
• Consul/Surfと連携したデプロイツール
• rin: https://github.com/fujiwara/Rin
• AWS-S3に出力されたログをRedshiftへインポートするツール
• mirage: https://github.com/acidlemon/mirage
• Dockerを使ったテスト用環境構築
• alphawing: https://github.com/kayac/alphawing
• Android/iOSアプリの社内配信ツール

6. お話すること
• 過去に自作したGoプロダクトの紹介
• Go言語を使う利点・便利な機能の紹介
• バイナリデータを扱うのが楽
• interfaceが便利
• 並行処理を書くのが楽

7. バイナリデータを扱うのが楽
• go-rgba4444
• androidbinary

8. androidbinary
• Androidアプリのメタ情報(AndroidManifest.xml)を解
析する
• モバイルで扱いやすいようメタ情報はバイナリ形式
• Android Developer Toolsのaaptコマンドで
テキスト形式に変換できる
• aapt単体で配布していないのでインストールが複雑
• Alphawingのaapt依存を排除するために作成

9. androidbinary
• encoding/binaryパッケージが便利
• バイト列を整数値に変換するために利用
• var out struct {a int32, b int16, c int16}
binary.Read(buf, binary.LittleEndian, &out)
• 型のサイズがはっきりしているので
unpack( LSS , $buf)みたいな呪文を書かずに済む
• apkはarchive/zipパッケージで解凍可能

10. go-rgba4444
• 16bit/pixelの画像形式をGo扱うライブラリ
• Unityではよく使われる形式
減色前(RGBA8888) 減色後(RGBA4444)

11. go-rgba4444
• C-likeな配列・構造体で省メモリ
• ex. make([][3]int32, 10000)
4bytes 3 10000分アロケート
• 実行時には型情報を持たないので、大きめのデータでも扱
える
• 簡単な画像処理であれば十分扱える
• Goで書いてあると、デザイナにコンパイルしたバイナリを渡
しやすい ※商用のソフト使ってて実際には渡してない

12. バイナリデータを扱うのが楽
• 画像・圧縮ファイル等を標準ライブラリだけで
扱うことができる
• 対応していない形式でも encoding/binary パッ
ケージでどうにかなる
• C-likeな配列・構造体で省メモリ

13. interfaceが便利
• go-sql-proxy
• go-dithering

14. interface
type Closer interface {
Close() error
}
type A struct {}
type B struct {}
func (a *A) Close() error { return nil }
var foo Closer
a = &A{} // OK
a = &B{} // NG

15. go-sql-proxy
• database/sqlパッケージを使って発行したSQL
をキャプチャする
• database/sqlのドライバ実装の一つ
• database/sql/driver .Driverを実装した構造
体を書くことでドライバを自作できる
• ドライバを直接呼び出すことも簡単

16. go-sql-proxy
// SQLが発行されたときのフックを登録
hooks := &proxy.Hooks{
// Hook functions here(Open, Exec, Query, etc.)
}
sql.Register(
new-proxy-name",
proxy.NewProxy(&another.Driver{}, hooks),
)
// 通常のSQLドライバと同様に扱える
db, err := sql.Open("new-proxy-name", dataSourceName)

17. go-dithering
• 各種ditheringアルゴリズムのGo実装
オリジナル画像 floyd steinberg
(Go標準)
false
floyd steinberg
jarvis
judice ninke
• image/draw .Drawerインターフェースを実装し
ているので、簡単に置き換え可能

18. interfaceが便利
• Goの標準ライブラリはinterfaceを受け取ったり
返したりする
• 標準ライブラリの挙動が気に入らなければ、
実装だけ簡単に入れ替えられる

19. 並行処理を書くのが楽
• go-prove/go-tap
• go-webtail/go-tail

20. go-prove/go-tap
• PerlのproveコマンドのGo移植・TAP(Test
Anything Protocol)のパーサ
• prove: Perlのテストを行うためのコマンド
• TAP: テストプログラムとproveの間のプロト
コル

21. go-prove/go-tap
• perl版proveに不満があったので作った
• -jオプションでテストを並列実行できる
• TAPの集約でI/O待ちが発生し、マシン性能の生かし切れない
• 並行処理が得意なGoで再実装
• PerlのテストはただのPerlのスクリプト。通常のperlコマン
ドで実行できる
• proveは標準出力のTAPを集約してるだけ

22. go-prove/go-tap
• 並行処理が得意なGoで再実装
• チャンネルからテスト対象のスクリプトを受け取る
• os .Commandを使ってPerlのプロセスを起動
• テストの結果をチャンネルへ
• プロダクションのコードのテストで試験
• proveでは32並列で7分。CPU使用率は30%程度
• go-proveで4分で終わるように。CPU使用率も95%程度に改善

23. go-webtail/go-tail
• tailコマンドの結果をWebsocket経由でブラウザ
に表示
• ruby版の実装(https://github.com/
r7kamura/webtail)のgo移植
• tailする処理とwebsocketでデータを返す処理を
別gorouineで処理
• 間をチャンネルでやり取り

24. 並行処理を書くのが楽
• goroutine
• チャンネル
• goroutine間のやり取り
• syncパッケージ
• MutexやWaitGroupでgorouineの待ち合わせ

25. まとめ
• Go言語を使う利点
• バイナリデータを扱うのが楽
• encoding/binary パッケージ・配列・構造体
• interfaceが便利
• 標準ライブラリの挙動を自由に変えることができる
• 並行処理を書くのが楽
• gorutineとチャンネル

26. まとめ
• https://github.com/shogo82148 で公開中
• go-rgba4444
• androidbinary
• go-sql-proxy
• go-dithering
• go-prove/go-tap
• go-webtail/go-tail