Sadayuki Furuhashi, profile picture
Uploaded bySadayuki Furuhashi
PDF, PPTX72,531 views

分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11

Presented at Tokyo RubyKaigi #11

Embed presentation

Download as PDF, PPTX
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11

More Related Content

PDF
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
byPreferred Networks
 
PDF
Unified JVM Logging
byYuji Kubota
 
PPTX
え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
byNTT DATA Technology & Innovation
 
PDF
Docker volume基礎/Project Longhorn紹介
byMasahito Zembutsu
 
PDF
例外設計における大罪
byTakuto Wada
 
PPTX
GraalVMのJavaネイティブビルド機能でどの程度起動が速くなるのか？～サーバレス基盤上での評価～ / How fast does GraalVM's...
byShinji Takao
 
PPTX
Amazon EKS によるスマホゲームのバックエンド運用事例
bygree_tech
 
PDF
DockerとPodmanの比較
byAkihiro Suda
 
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
byPreferred Networks
 
Unified JVM Logging
byYuji Kubota
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
byNTT DATA Technology & Innovation
 
Docker volume基礎/Project Longhorn紹介
byMasahito Zembutsu
 
例外設計における大罪
byTakuto Wada
 
GraalVMのJavaネイティブビルド機能でどの程度起動が速くなるのか？～サーバレス基盤上での評価～ / How fast does GraalVM's...
byShinji Takao
 
Amazon EKS によるスマホゲームのバックエンド運用事例
bygree_tech
 
DockerとPodmanの比較
byAkihiro Suda
 

What's hot

PPTX
Dockerからcontainerdへの移行
byAkihiro Suda
 
PPTX
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
byHiroshi Ito
 
PPTX
MongoDBが遅いときの切り分け方法
byTetsutaro Watanabe
 
PPTX
Keycloak入門
byHiroyuki Wada
 
PDF
分散トレーシング技術について（Open tracingやjaeger）
byNTT Communications Technology Development
 
PPTX
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）
byNTT DATA Technology & Innovation
 
PDF
並行処理初心者のためのAkka入門
byYoshimura Soichiro
 
PDF
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
byKouhei Sutou
 
PDF
Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨（JJUG CCC 2020 Fall講演資料）
byNTT DATA Technology & Innovation
 
PPTX
Azure Api Management 俺的マニュアル 2020年3月版
by貴志 上坂
 
PDF
Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）
byNTT DATA Technology & Innovation
 
PDF
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
byShin Ohno
 
PPTX
緊急Ques - コードのメトリクスに基づくリファクタリング戦略
byTomoki Kuriyama
 
PDF
ISUCONで学ぶ Webアプリケーションのパフォーマンス向上のコツ 実践編 完全版
byMasahiro Nagano
 
PDF
Dockerからcontainerdへの移行
byKohei Tokunaga
 
PDF
実践！OpenTelemetry と OSS を使った Observability 基盤の構築（CloudNative Days Tokyo 2022 発...
byNTT DATA Technology & Innovation
 
PPTX
Kubernetes サーバレス知識ゼロのエンジニアがKnative環境構築してみた
byKeijiUehata1
 
PDF
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
byKentaro Yoshida
 
PDF
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
byYahoo!デベロッパーネットワーク
 
PDF
Marp Tutorial
byRui Watanabe
 
Dockerからcontainerdへの移行
byAkihiro Suda
 
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
byHiroshi Ito
 
MongoDBが遅いときの切り分け方法
byTetsutaro Watanabe
 
Keycloak入門
byHiroyuki Wada
 
分散トレーシング技術について（Open tracingやjaeger）
byNTT Communications Technology Development
 
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）
byNTT DATA Technology & Innovation
 
並行処理初心者のためのAkka入門
byYoshimura Soichiro
 
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021
byKouhei Sutou
 
Javaコードが速く実⾏される秘密 - JITコンパイラ⼊⾨（JJUG CCC 2020 Fall講演資料）
byNTT DATA Technology & Innovation
 
Azure Api Management 俺的マニュアル 2020年3月版
by貴志 上坂
 
Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）
byNTT DATA Technology & Innovation
 
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
byShin Ohno
 
緊急Ques - コードのメトリクスに基づくリファクタリング戦略
byTomoki Kuriyama
 
ISUCONで学ぶ Webアプリケーションのパフォーマンス向上のコツ 実践編 完全版
byMasahiro Nagano
 
Dockerからcontainerdへの移行
byKohei Tokunaga
 
実践！OpenTelemetry と OSS を使った Observability 基盤の構築（CloudNative Days Tokyo 2022 発...
byNTT DATA Technology & Innovation
 
Kubernetes サーバレス知識ゼロのエンジニアがKnative環境構築してみた
byKeijiUehata1
 
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
byKentaro Yoshida
 
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
byYahoo!デベロッパーネットワーク
 
Marp Tutorial
byRui Watanabe
 

More from Sadayuki Furuhashi

PDF
Scripting Embulk Plugins
bySadayuki Furuhashi
 
PDF
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
bySadayuki Furuhashi
 
PDF
Making KVS 10x Scalable
bySadayuki Furuhashi
 
PDF
Automating Workflows for Analytics Pipelines
bySadayuki Furuhashi
 
PDF
Digdagによる大規模データ処理の自動化とエラー処理
bySadayuki Furuhashi
 
PDF
Fluentd at Bay Area Kubernetes Meetup
bySadayuki Furuhashi
 
PDF
DigdagはなぜYAMLなのか？
bySadayuki Furuhashi
 
PDF
Logging for Production Systems in The Container Era
bySadayuki Furuhashi
 
PDF
Fighting Against Chaotically Separated Values with Embulk
bySadayuki Furuhashi
 
PDF
Embulk - 進化するバルクデータローダ
bySadayuki Furuhashi
 
PDF
Plugin-based software design with Ruby and RubyGems
bySadayuki Furuhashi
 
PDF
Embuk internals
bySadayuki Furuhashi
 
PDF
Embulk, an open-source plugin-based parallel bulk data loader
bySadayuki Furuhashi
 
PDF
Understanding Presto - Presto meetup @ Tokyo #1
bySadayuki Furuhashi
 
PDF
Prestogres internals
bySadayuki Furuhashi
 
PDF
Presto+MySQLで分散SQL
bySadayuki Furuhashi
 
PDF
Presto - Hadoop Conference Japan 2014
bySadayuki Furuhashi
 
PDF
Fluentd - Set Up Once, Collect More
bySadayuki Furuhashi
 
PDF
Prestogres, ODBC & JDBC connectivity for Presto
bySadayuki Furuhashi
 
PDF
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
bySadayuki Furuhashi
 
Scripting Embulk Plugins
bySadayuki Furuhashi
 
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
bySadayuki Furuhashi
 
Making KVS 10x Scalable
bySadayuki Furuhashi
 
Automating Workflows for Analytics Pipelines
bySadayuki Furuhashi
 
Digdagによる大規模データ処理の自動化とエラー処理
bySadayuki Furuhashi
 
Fluentd at Bay Area Kubernetes Meetup
bySadayuki Furuhashi
 
DigdagはなぜYAMLなのか？
bySadayuki Furuhashi
 
Logging for Production Systems in The Container Era
bySadayuki Furuhashi
 
Fighting Against Chaotically Separated Values with Embulk
bySadayuki Furuhashi
 
Embulk - 進化するバルクデータローダ
bySadayuki Furuhashi
 
Plugin-based software design with Ruby and RubyGems
bySadayuki Furuhashi
 
Embuk internals
bySadayuki Furuhashi
 
Embulk, an open-source plugin-based parallel bulk data loader
bySadayuki Furuhashi
 
Understanding Presto - Presto meetup @ Tokyo #1
bySadayuki Furuhashi
 
Prestogres internals
bySadayuki Furuhashi
 
Presto+MySQLで分散SQL
bySadayuki Furuhashi
 
Presto - Hadoop Conference Japan 2014
bySadayuki Furuhashi
 
Fluentd - Set Up Once, Collect More
bySadayuki Furuhashi
 
Prestogres, ODBC & JDBC connectivity for Presto
bySadayuki Furuhashi
 
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
bySadayuki Furuhashi