Recommended
More Related Content
What's hot
What's hot (20)
dbt Cloud intro 日本語 202206
- 1. 本 格 的 な デ ー タ 民 主 化 を 成 す ツ ー ル dbt Cloud P a u l H a l l a s t e
- 2. Table of Contents ETL → ELT 現状の課題とその背景 成功事例 Q＆A ソリューション 料金体系
- 3. DATA WAREHOUSE TRANS- FORM DATA SOURCES ETL -> ELT: データ変換の革命 従来のETLでは、T（変換）の部分は曖昧な立場。 ETL Extract Load 課題あり BI/ML/Ops TRANS- FORM (in Warehouse) DATA SOURCES ELT Load Extract BI/ML/Ops 課題あり
- 12. dbtは実行時にDDLを生成する {{ config(materialized=table) }} select … from accounts CREATE TABLE … AS ( select … from accounts ); dbtで書いたクエリ dbtは実際に実行するクエリ
- 14. dbt機能その2：{{ref（）}}文でクエリの関係を表現する 自動的に schema名を 補間する select * from {{ ref(‘stg_orders’) }} select * from raw.dbt_paulh.stg_orders dbtで書いたクエリ dbtは実際に実行するクエリ
- 16. dbt機能その3：簡単なテスティング データに関する 推定をテストで 検証できる 失敗した行を 確認できる • unique（値は一意か） • not_null（NULLが含まれていないか） • accepted_values（特定の値であるか） • relationships（参照整合性があるか） テストできる ことの事例：
- 21. 成功事例① 稼働時間 99.9% ヶ月で移行 3 トータルの追加コスト $0 毎日6∼8時間 のメンテナン ス時間がほぼ ゼロに短縮。 1200モデル 26のデータソース を d b t に 移 行 。 6300のデータ品 質テストを設定。 業界最高のデータ インフラストラク チャツールである ため選んだが、追 加のコストなく導 入できた。
- 24. • ローデータを最小限の手間で、効率良く開発す るにはdbt Cloudがおすすめ • オープンソース、SQLベース、Git連携、データ リネージュと変換の全てのステップを可視化で きるdbt • これらの機能により、本格的なデータの民主化 を実現できる 最後に 変換ステップ 一気通貫で可視化 データリネージュ可視化 Git連携 SQLだけで完結 オープンソース
- 25. ? Trusted by the best Q&A
- 26. Appendix
- 27. Feature Developer Team Enterprise Baseline Features Browser-based IDE Job scheduling & reporting Unlimited daily runs Logging & alerting Data documentation GitHub & GitLab integrations Source freshness reporting Advanced Features Build on pull requests dbt Cloud API Access Up to 5 concurrently running jobs Security Controls Single Sign On (SSO) Role-based ACLs Fine-grained git permissions Premium Support Implementation assistance Dedicated account management Priority tech support dbt Labs Security and Legal review Custom Deployments Custom SLAs Option for single-tenant (add-on) Access to professional services (add-on) Invoicing (e.g. AWS marketplace)