Ameba DSPのプロジェクトを立ち上げるにあたり、golangを採用して起こった問題・解決策とその原因究明方法を紹介します。

1. DSPでgolangの屍
を超えた話
1

2. 片田 雄樹
先日リリースしたAmebaDSPの開発責任者としてエンジニア兼任で
分析とかやってます。
主な使用言語: Scala、Go言語
最近はまっていること: Tableauで個性的なダッシュボードを作る
2

3. Agenda
» Ameba DSPで起きた問題
» 対応策と結果
» チューニング方法
» まとめ
3

4. ※ 今回の話は、golangをある程度触
ったことがある人が主な対象となり
ます。
4

5. 1.
Ameba DSPで起きた問題たち
Problems happened in Ameba DSP
5

6. golangを使った理由
ちょっと触った感じ簡単だし、流行ってるか
らいい感じなんじゃね！？（*´∀`*）
6

7. 最強の壁: 速度問題
DSPなので、リクエストからレスポンスまで
100ms以内に返さなきゃいけない。
なかなか思ったような速度出ない…（涙）
7

8. イライラ: structが勝手にデフォ
ルト値にしやがる問題
ログで「0」値を吐きたいのにnullにする
また、structに詰めるときに勝手に「0」が入る
。
そもそも値が返ってきてるのかわからん！
8

9. イライラ2: コード荒れる問題
他の言語で書くよりgolangで書くとやたらコー
ド荒れる。
キレイになったかと思えばコード量半端ない…
9

10. 2.
解決策
Solutions the problem
10

11. 最強の壁: 速度問題
今回はこの問題にフォーカスします。
(100ms以内にレスポンスしなきゃいけない問題)
11

12. そもそもの原因として、I/Oのレイテンシーをなめてた。
最初は、1000QPSで130msぐらいかかってました…
12

13. 解決策その１
13

14. 最強の壁: 速度問題（解決策その１）
14
goroutineを内部で使用していたライブラリ例
» net/http (https://github.com/golang/go/tree/master/src/net/http)
» ruslog (社内ライブラリ)

15. 最強の壁: 速度問題（解決策その１）
15
それぞれgoroutineの実装部分でかなりのオーバ
ーヘッドが発生していました…

16. 最強の壁: 速度問題（解決策その１）
16
ライブラリ変更後
» net/http
→ fasthttp (https://github.com/valyala/fasthttp)
» ruslog (社内Loggerライブラリ)
→ zap logger (https://github.com/uber-go/zap)

17. ライブラリ変更することで、30msぐらいは速く
なった！
最強の壁: 速度問題（解決策その１）
17

18. 最強の壁: 速度問題（解決策その１）
教訓その１
ライブラリの実装を見れば割と簡単に問題に気
づくので、使用するライブラリはちゃんと内部
実装を確認しましょう。
18

19. 解決策その２
19

20. 最強の壁: 速度問題（解決策その２）
ココ
20

21. 二つのサーバに並列(goroutine)でリク
エストしてました。
最強の壁: 速度問題（解決策その２）
21

22. 最強の壁: 速度問題（解決策その２）
こんな感じで、Wait Group 使ってアクセスし
てました。（サンプルコード）
22

23. プロファイルとってみると、goroutineを生成し
すぎてたせいかレイテンシーの原因になってる
ことが判明。
シーケンシャルな処理（goroutine/wgをなくした
）にしたら20msくらい改善！
最強の壁: 速度問題（解決策その２）
23

24. 最強の壁: 速度問題（解決策その２）
教訓その２
goroutineを使うにもいくらかコストがかかるの
で、意識して実装しましょう。
24

25. 3.
チューニング方法
Performance tuning
25

26. パフォーマンスチューニングの要はプ
ロファイルを取ることだった。
Golangの「pprof」は超優秀です。
https://golang.org/pkg/net/http/pprof/
26

27. 今回使ったのはこちら、
echo-contrib/echopprof
(github.com)
https://github.com/echo-contrib/echopprof
27

28. > go tool pprof ./main
http://localhost:xxx/debug/pprof/block
(pprof)
このようにビルド後のバイナリ(./main)とエンドポイント(http://localhost:xxx/debug/pprof/block)を
指定することで (pprof) が立ち上がります。
28

29. 例えば、「list 関数名」コマンドで関数呼び出しにかかった時間を調べることができます。
29

30. DEMO
30

31. 4.
まとめ
Conclusion
31

32. 屍を超えて学んだこと
» ライブラリの内部実装はしっかり確認しましょう
(golangは比較的読みやすいので)
» 決してgoroutineが悪いわけではなく、軽量で簡単に実装で
きるからといって使い方を誤るとボトルネックになります
» めんどくさがらず、プロファイリングしてボトルネックを見
つけていきましょう
32

33. ご清聴ありがとうございました。
33