2018年12月15日に開催されたJJUG CCC 2018 Fallでの登壇資料です

1. LINE で広告プラットフォームを
Java + Golang で立ち上げた話
#ccc_a2b
JJUG CCC 2018 Fall
2018/12/15
LINE株式会社 サービス開発1室
Tokuhiro Matsuno

2. Self introduction
 LINE 株式会社サービス開発1室
 Account Business
 LINE @
 LINE Official Account
 Display Ads
 LINE Ads Platform
 B2B 関連の開発マネージャーを担当しています
 LINE Messaging API SDK のリードもしています。
 Java SDK の Original Author

3. アジェンダ
 LINE Ads Platform のご紹介
 ポリグロットの視点から
 アーキテクチャの選定について
 ポリグロットでグローバルな開発体制における考慮ポイント

4. What’s LINE Ads Platform?
 LINE の Timeline/LINE NEWS 等に広告配信可能
 LINEマンガなどのファミリーサービスにも配信
LINE ポイントLINE BLOGLINE マンガLINE NEWS タイムライン

5. 歴史
2016年
First release
2018年 Summer
New system
release

6. 新システムを今夏リリースしました
Event
Receiver Big Query Batch Learning
Source
Event
Receiver
Storage
Learning
Source
旧システム
新システム

7. LINE Ads Platform のアーキテク
チャと Microservices と

8. Architecture Overview
Apps
Ad SDK
SSP
Performan
ce DSP
Event
Tracker
Log
Storage
Guarrante
eed DSP
DMP
DPA
DSP CMS

9. 大体、どこの
会社でも同じ

10. 通信プロトコルも自明なので
Microservcies 化しやすい
OpenRTB based – Open Real Time
Bidding
業界標準になっている
IAB

11. LINE の開発機能
日本: 東京, 京都, 福岡
韓国
ベトナム
タイ
台湾
などなど

13. 拠点間でのプロダクトの移動が多い社風
 一つのプロダクトが途中で移動していく
 東京 → 韓国
 韓国 → 東京
 東京 → 福岡
 などなど。。。
 → 他の拠点で利用してない Tech Stack でやると一生抱える羽目に。。

14. We’re using Private Cloud
 弊社はメッセンジャーアプリなども運用しておりサーバー台数がめ
ちゃんこあるので、オンプレで運用しています
 OpenStack ベースで Private Cloud を運用
 IaaS
 DNS
 MySQL/Redis/ElasticSearch
 Kafka
 K8s ← beta

15. 育ってきた環境が違う
 自社にもともと広告開発部門がなかった
 最近入ってきた人たちばかり
 バックグラウンドの違い

16. いったん作ろう大作戦
 アーキテクチャを完全に合わせるよりは、完成速度を重視
 各コンポーネントのリードが決定権を持つ
 揃えられる部分は揃える

17. 結果として。。。
SSP
Java 8 + Boot 2
Data Pipeline
Java 8 + Boot 1.5
Spark(Scala)
DSP Serving
Golang + net/http
SSP CMS
Java 8 + Kotlin +
Boot 2.1
DSP CMS
Java 8 + Boot 1.5
DMP
Java 8 + Boot 2
Golang
lua

18. どこに気をつけて設計するか

19. データのやりとり
DSPDMP
Bad Pattern
Over HTTP
Serialized by JSON
再送処理が面倒

20. Use Kafka: Distributed streaming system
Kafka
• Distributed
• Buffering
• 再送処理が不要
DSPDMP
Produce Consume

21. Multiple consumers
Kafka
DSP
DMP
Produce Consume
DPA

22. 昔やってたシリアライゼーション
Jar
Java Bean
API
Jackson
Consumer
Jackson
JSON
Polyglot しづらい。

23. 今やってるシリアライゼーション
API
Consumer
Apache Avro
Protobuf
Java
Serializer
Golang
Deserializer

24. バイナリシリアライゼーション
 Saving Storage
 Improve throughput

25. まとめ
 Kafka などの中間バッファを置くと協業しやすい
 言語またぐときは Apache Avro/Protobuf 等を使っておくと良い
 Polyglot 怖くない

26. とはいえ

28. 結論
＿人人人人人人＿
＞ Java 最強 ＜
￣Y^Y^Y^Y^Y￣