Spring Cloud Data Flow の紹介 #streamctjp

Spring Cloud Data Flow の紹介
http://www.yahoo.co.jp/
ヤフー株式会社浅沼孝信
2017年7月27日

自己紹介
• 名前
• 浅沼孝信
• 業務履歴
• 2012年新卒入社
• Hadoop周りの業務（HDFS ECの開発など）
• 最近はデータフロー
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
2

目次
3
• Spring Cloud Data Flow とは
• 開発された動機
• ステート管理
• まとめ

目次
4
• まとめ

Spring Cloud Data Flow とは
• ストリーム処理とバッチ処理に関する
Springアプリケーションの統合デプロイメント
5
Spring Cloud Data Flow
Spring Cloud Stream Spring Cloud Task
Spring
Integration
Spring Boot Spring Batch
BatchStreaming
deploy
use use

• データフローの作成
- Web UI
- UNIXプログラミング風のDSL（シェル）
6
http --port=12345 | filter | hdfs

• データフローの作成
- Web UI
- UNIXプログラミング風のDSL（シェル）
各プロセスはSpring Bootアプリケーションとして起動
7
http --port=12345 | filter | hdfs

• デプロイメント
さまざまなモダンなプラットフォームに対する
SPI実装が用意されている
- Cloud Foundry
- Kubernetes
- YARN
- Mesos
- local（開発用）
8

9
SCDF
Server
REST-API
Deployer SPI
deploy
RDBMS
Data
Source
Data
Source
Web UI Shell

目次
10
• まとめ

開発された動機
11
SCDF
Server
REST-API
Deployer SPI
Spring XD Spring Cloud Data Flow
• Spring Cloud Data Flowの前身
• 普通のサーバー上で動く
• モノリシックな設計
• Spring XDの課題を踏まえて再設計
• マイクロサービスの思想
• コンテナプラットフォームに最適化
• 2016年7月に1.0 GAがリリース
XD Admin
ZooKeeper
XD Container XD Container
M
M
M
M

目次
12
• まとめ

ステート管理
13
• The Twelve-Factor App
– Herokuの中の人たちが作成
– クラウドネイティブなアプリケーションを
作るのに必要な規則・指針
VI. プロセス
アプリケーションを1つもしくは複数の
ステートレスなプロセスとして実行する

ステート管理
14
SCDF
Server
REST-API
Deployer SPI
deploy
RDBMS
Stateless
• Spring Cloud Data Flowが生成するSpring Bootは
ステートレスなアプリケーション

ステート管理
15
SCDF
Server
REST-API
Deployer SPI
deploy
RDBMS
Stateful
• ステートが発生する部分はコンテナプラットフォームの
外で管理する
データフローの定義など
データフローの解析
Spring Boot間のメッセージング
Stateless

目次
16
• まとめ

まとめ
ストリーム処理とバッチ処理の統合デプロイメント
• マイクロサービスの思想でSpring XDを再設計
クラウドネイティブなプラットフォームに最適化されている
• コンテナプラットフォームの中では
ステートレスなアプリケーションが稼働している
ステートが発生する部分は外で管理する
17

Spring Cloud Data Flow の紹介 #streamctjp

More Related Content

What's hot

Similar to Spring Cloud Data Flow の紹介 #streamctjp

More from Yahoo!デベロッパーネットワーク

Recently uploaded

Spring Cloud Data Flow の紹介 #streamctjp