ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
塩野貴義, 橋本尚亮
ヤフーの広告
レポートシステムを
Spring Cloud Stream化
するまで
2017年5月20日

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.2
塩野貴義
■家族構成
妻、息子2人(9歳♂双子)
■趣味
車、バイク
■経歴
2011/08 ヤフーに転職
2013/10 レポートシステム
2017/04 集計システム
自己紹介

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.3
橋本尚亮
■家族構成
独身
■趣味
音楽鑑賞
■経歴
2016/04 ヤフーに新卒入社
2016/09 レポートシステム
自己紹介

概要
4
第一世代第二世代第三世代
2013 2015 2017

アジェンダ
5
1. 広告レポートシステムについて
2. 第一世代~PHP&Perl~
3. 第二世代~Spring Batch&Hive~
4. 第三世代~Spring Cloud Stream~
5. まとめ
6. tips

アジェンダ
6
5. まとめ
6. tips

広告レポートについて
7
 お客様(広告主)が入稿した広告の配
信実績を確認するためのレポート
 レポート出力する項目や集計単位は
指定可能

広告レポートのユースケース
8
 通常レポート
• API経由で作成リクエストを受け取る
• 常時稼働
• レポート作成は非同期で行う
Request
Job
登録
Report job
Report
作成
Job取得
API
Batch
API Batch

9
 定期レポート
• 定期レポートとして登録されているレ
ポートのJobを一括登録する
• 毎朝1回
• レポート作成方法は通常レポートと同じ
Report job
Report
作成
Job取得
定期
レポート
Job
登録
Batch
Batch

10
 通常レポート
• 常時稼働、約25万レポート/日
 定期レポート
• 毎朝1回、約5万レポート/日
Request
Job
登録
Report job
Report
作成
Job取得
定期
レポート
Job
登録
API
Batch
Batch

レポートのリクエスト数
11
80,000
150,000
300,000
第一世代(2014) 第二世代(2016) 第三世代(2017)
インターネット広告市場の拡大に伴い
レポート作成の
リクエスト数は年々増加

広告レポートシステム全体
12
Request
Job
登録
Report job
Report
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
配信ログ集計
API
Batch
Batch
Batch

アジェンダ
13
5. まとめ
6. tips

第一世代
14
Request
Job
登録
Report job
Report
作成
メール
送信
定期
レポート
Job
登録
配信ログ集計ストレージ2次集計
日次夜間集計

第一世代
15
Request
Job
登録
Report job
Report
作成
メール
送信
定期
レポート
Job
登録
日次夜間集計

第一世代
16
Request
Job
登録
Report job
Report
作成
メール
送信
定期
レポート
Job
登録
日次夜間集計

Report
作成
第一世代
17
Request
Job
登録
Report job
Job取得
メール
送信
定期
レポート
Job
登録
配信実績取得
日次夜間集計
Job取得

第一世代
18
Request
Job
登録
Report
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
ストレージ2次集計
Report job
配信ログ集計
日次夜間集計

第一世代
19
Request
Job
登録
Report job
Report
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
日次夜間集計
二次集計
処理時間：4時間以上
集計結果容量：1TB以上/日

第一世代の課題
20
 開発が複雑
• 全ての処理が依存しあっていて影響範囲が広い
• テストパターンが網羅しきれない
• 2000行以上の設定ファイルを共有
• Objectは全てArray
• 改修・拡張でコードが複雑化
• 動的型付けで想定外の挙動
• 開発サーバ上でVimによる開発
 運用コストが高い
• リカバリの再集計は複数人で半日以上
• ファイルの欠損等で月に数回リカバリ作業が発生

第一世代の課題
21
 開発が複雑
• 全ての処理が依存しあっていて影響範囲が広い
• テストパターンが網羅しきれない
• 2000行以上の設定ファイルを共有
• Objectは全てArray
• 改修・拡張でコードが複雑化
• 動的型付けで想定外の挙動
• 開発サーバ上でVimによる開発
 運用コストが高い
• リカバリの再集計は複数人で半日以上
• ファイルの欠損等で月に数回リカバリ作業が発生
- 品質を担保できない
- 開発に時間がかかりすぎてログ量の
増加や機能拡張に追いつけない
- ぐっすり眠れない

なんとかしたい
22
 開発スピードを上げたい
 運用をもっと楽にして開発に集中
したい
 ぐっすり寝たい

アジェンダ
23
5. まとめ
6. tips

第一世代(2014)
24
Request
Job
登録
Report job
レポート
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
日次夜間集計

第二世代(2016)
25
Request
Job
登録
Report job
レポート
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
日次夜間集計

第二世代(2016)
26
Request
Job
登録
Report job
レポート
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
配信ログ集計

第一世代から第二世代へ
27
 Java / Spring Batch
• DIコンテナによる疎結合とテストの充実
• 静的型付けで安心
• ライブラリが充実
• IDE
 Hive on Tez
• 二次集計が不要
• 保守するコード量が激減
• 自由度高く実績取得可能
 運用
• ぐっすり眠れるようになった

第一世代から第二世代へ
28
詳しくはこちら
JJUG CCC 2016 Spring
広告システム刷新の舞台裏
PHPからJavaに変えてみました
https://www.slideshare.net/techblogyahoo/jjugccc-cccf1-phpjava

第二世代(2016)
29
Request
Job
登録
Report job
レポート
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
配信ログ集計

問題発生
30
Request
Job
登録
Report job
レポート
作成
Job取得
メール
送信
定期
レポート
Job
登録
Job取得
配信実績取得
配信ログ集計
二次集計をなくしたことで配信実績
取得にかかる時間が増加
全体のスループットの低下

解決策
31
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計

解決策
32
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成

解決策
33
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
これで解決？

解決策
34
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成

解決策
35
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・

解決策
36
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成

解決策
37
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・

解決策
38
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成

解決策
39
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成

解決策
40
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成

解決策
41
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成

第二世代の課題
レポート作成Batchをスケールアウト
RDBへのポーリングのアクセス数が増大
RDBが高負荷
他のシステムにも影響
42

アジェンダ
43
5. まとめ
6. tips

第二世代(2016)
44
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
Report job
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成

第三世代(2017)
45
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
MQ?

第三世代(2017)
46
Request
Job
登録
レポート
作成
Job取得
定期
レポート
Job
登録
配信実績取得
配信ログ集計
レポート
作成
・・・
レポート
作成
レポート
作成
・・・
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
レポート
作成
MQ?
レポート作成を
イベントドリブンに行いたい

Spring Cloud Stream
47
 message-driven microservices
 Spring Boot
 consumer groups
 binder abstraction
http://cloud.spring.io/spring-cloud-stream/

Spring Cloud Stream
48
Source Sink
output
input
定期
レポート
API
レポート
作成

第三世代(2017)
49
レポート
作成
Request Job登録
Job登録
定期
レポート
・・・
・・・
レポート
作成
レポート
作成

 共通のdestinationを設定するだけで簡単にアプ
リケーション間が接続される
第三世代(2017)
50
レポート
作成
Request Job登録
Job登録
定期
レポート
・・・
・・・
レポート
作成
spring.cloud.stream.
bindings.output.destination
=reporting
spring.cloud.stream.
bindings.input.destination
=reporting
reporting

レポート
作成
Request Job登録
Job登録
定期
レポート
・・・
・・・
レポート
作成
レポート
作成
reporting
第三世代(2017)
51
{jobId:1002}{jobId:1002}{jobId:1002} {jobId:1002}
{jobId:1002}
{jobId:1002}

 設定1つで簡単にconsumer groupが作れるためス
ケールアウトが容易
spring.cloud.stream.bindings
.input.group=ydnrep
レポート
作成
Request Job登録
Job登録
定期
レポート
・・・
・・・
レポート
作成
レポート
作成
第三世代(2017)
52
reporting
.ydnrep
{jobId:1002}
ydnrep
{jobId:1002}

リリース
53
第二世代から第三世代へのリリースを
ダウンタイム0で行いたい
0. 旧システム稼働中
1. 新システムデプロイ
2. 新シスステムサービスイン
3. 旧シスステムAPIサービスアウト
4. 旧シスステムBatchサービスアウト

・・・
リリース
54
0.旧システム稼働中
Request
Job
登録
Report job
レポート作成
・・・
Job取得

・・・
リリース
55
1.新システムデプロイ
Request
Job
登録
Report job
レポート作成
・・・
Job取得
reporting
.ydnrep

・・・
リリース
56
2.新システムサービスイン
Request
Job
登録
Report job
レポート作成
・・・
Request
Job
登録
Job取得
レポート作成
reporting
.ydnrep

・・・
リリース
57
3.旧システムAPIサービスアウト
Report job
レポート作成
・・・
Request
Job
登録
Job取得
レポート作成
reporting
.ydnrep

・・・
リリース
58
4.旧システムBatchサービスアウト
Report job
・・・
Request
Job
登録レポート作成
reporting
.ydnrep

・・・
リリース
59
4.旧システムBatchサービスアウト
Report job
・・・
Request
Job
登録レポート作成
ダウンタイム0でリリース完了!
reporting
.ydnrep

性能比較
60
 リリースして動作確認

性能比較
61
 RabbitMQの管理画面

性能比較
62

性能比較
63

性能評価
 レポート作成プロセス数：558
 ポーリング時のSQL発行数/h
• 第二世代： 16,928
• 第三世代： 0
 レポート作成数/h
• 第二世代： 44,121
• 第三世代： 63,934
64

第三世代(2017)
 イベントドリブンにレポート作成
Jobを取得できるようになりRDB
の負荷が減った
 1時間あたりの処理数も増えた
65

第三世代(2017)
めでたしめでたし、、、
66

問題発生
めでたしめでたし、、、
67
SQL [INSERT into
BATCH_JOB_EXECUTION_PARAMS(JOB_EXECUTION_ID, KEY_NAME,
TYPE_CD, STRING_VAL, DATE_VAL, LONG_VAL, DOUBLE_VAL,
IDENTIFYING) values (?, ?, ?, ?, ?, ?, ?, ?)];
ORA-08177: can't serialize access for this transaction

原因
68
レポート
作成
定期
レポート
・・・
・・・
{jobId:1002,
・・・
jobId:51002}

原因
69
レポート
作成
定期
レポート
・・・
・・・
{jobId:1002,
・・・
jobId:51002}
{jobId:1002}
{jobId:1003}
{jobId:1503}

原因
70
レポート
作成
定期
レポート
・・・
・・・
Spring Batchの
Job管理テーブルに
同時に大量のINSERT
・・・
{jobId:1002,
・・・
jobId:51002}
{jobId:1002}
{jobId:1003}
{jobId:1503}

原因
71
レポート
作成
定期
レポート
・・・
・・・
Spring Batchの
Job管理テーブルに
同時に大量のINSERT
・・・
{jobId:1002,
・・・
jobId:51002}
{jobId:1003}
{jobId:1503}
3回失敗すると
メッセージは消失

対策(1/2)
72
レポート
作成
reporting
.ydnrep
・・・
・・・
ydnrep
レポート
作成
定期
レポート
 maxAttemptの上限を上げる
spring.cloud.stream.bindings.
input.consumer.maxAttempts=5

対策(2/2)
73
レポート
作成
reporting
.ydnrep
・・・
・・・
ydnrep
レポート
作成
reporting
.ydnrep.dlq
定期
レポート
 Dead Letter Queue を用意
spring.cloud.stream.rabbit.bind
ings.input.consumer.autoBindDlq
=true
{jobId:1002}
エラー処理

対策(2/2)
74
レポート
作成
reporting
.ydnrep
・・・
・・・
ydnrep
レポート
作成
reporting
.ydnrep.dlq
定期
レポート
{jobId:1002}
メッセージを
送信し直す

対策(2/2)
75
レポート
作成
reporting
.ydnrep
・・・
・・・
ydnrep
レポート
作成
reporting
.ydnrep.dlq
定期
レポート
{jobId:1002}
メッセージを
送信し直す
根本的な解決になっていない

対策(2/2)
76
レポート
作成
reporting
.ydnrep
・・・
・・・
ydnrep
レポート
作成
reporting
.ydnrep.dlq
定期
レポート
{jobId:1002}
メッセージを
送信し直す
Job RepositoryがDBアクセスしない方法を調査中
*常駐バッチのためJob Repositoryを
インメモリ化できない

アジェンダ
77
5. まとめ
6. tips

第一世代(2014) 第二世代(2016) 第三世代(2017)
まとめ
78

第一世代(2014) 第二世代(2016) 第三世代(2017)
まとめ
79

まとめ
80
 刷新をする度に課題がバックエンドに移動
 ポーリング型からイベントドリブンに変更するこ
とでスループット向上
 大規模システムはリリースしてからが勝負
 Spring歴1年未満の私でもmicroservicesが簡単
に作れました

これから
・・・レポート
作成
API
メール
送信
定期
レポート
 他サービスのSpring Cloud Stream化

これから
作成
API
メール
送信
定期
レポート
 ミドルウェアの比較・検討

これから
作成
API
メール
送信
定期
レポート
 Cloud Foundryへの移行

これから
作成
API
メール
送信
定期
レポート
 興味がある方は是非！

これから
 他サービスのSpring Cloud Stream化
 ミドルウェアの比較・検討
 Cloud Foundryへの移行
 興味がある方は是非！

アジェンダ
86
5. まとめ
6. tips

Spring Cloud Streamの実装
87

Spring Cloud Streamの実装
88
 API, BatchのSpring Boot化
 Source/Sinkの追加

Spring Boot
89
 Application起動クラスの追加
 application.properties で設定を
管理
 API : war->jar (embedded jetty)
 Batch：苦戦

Spring Boot
90
 第二世代Batch :
• 1つのjarに複数の機能
• 実行時にjobIdを指定
 第三世代Batch ：
• 1application/jar
• 単発batch(定期レポート)
• 常駐batch(レポート作成, メール送信)
spring.batch.job.enabled=true
spring.batch.job.enabled=false

Spring Boot
91
 1サーバに複数プロセス
• Web appとして起動するさせてしまうと
portの管理が必要
•
＊Spring Boot 2.0では非推奨.代わりにWebApplicationType
https://github.com/spring-projects/spring-boot/wiki/Spring-Boot-2.0-Release-
Notes
spring.main.web-environment=false

Spring Boot
92
 Datasourceを2つ指定するときは
<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="oracle.jdbc.driver.OracleDriver"/>
</bean>
<bean id="dataSourceHive" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="org.apache.hive.jdbc.HiveDriver"/>
</bean>
<bean class="org.springframework.batch.core
.configuration.annotation.DefaultBatchConfigurer">
<constructor-arg ref="dataSource" />
</bean>
java.lang.IllegalStateException: To use the default BatchConfigurer the context
must contain no more thanone DataSource, found 2

Source/Sinkの追加
93
API
定期レポート
@EnableBinding(Source.class)
public class ReportJobSender {
@Autowired
Source source;
public void send(ReportJobMessage reportJobMessage) throws
MessageHandlingException{
Message<ReportJobMessage> message =
MessageBuilder.withPayload(reportJobMessage).build();
source.output().send(message);
}
}
@EnableBinding(Sink.class)
public class JobRequestListener {
//..
@StreamListener(Sink.INPUT)
public void handleRequest(ReportJobQueueMessage reportJobQueueMessage) {
Long reportJobId = reportJobQueueMessage.getBody().getJobId();
JobParameters jobParameters = new JobParametersBuilder()
.addLong("reportJobId", reportJobId)
.addDate("currentDate", currentDate).toJobParameters();
JobExecution jobExecution = jobLauncher.run(job, jobParameters);
}
}
レポート作成

ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4

Similar to ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4 (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (9)

ヤフーの広告レポートシステムをSpring Cloud Stream化するまで #jjug_ccc #ccc_a4