Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DBTS2016 Data as Code - Delphix

840 views

Published on

db tech showcase Tokyo 2016

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

DBTS2016 Data as Code - Delphix

  1. 1. © 2016 Insight Technology, Inc. All Rights Reserved. Database as Code - サクッとテスト用DB環境をアプリチームに渡したい 〜 DevOpsを実現するテクノロジーの秘密
  2. 2. © 2016 Insight Technology, Inc. All Rights Reserved. 2 自己紹介  石川 雅也 (いしかわ まさや)  現職  株式会社インサイトテクノロジー 取締役 CTO ビッグデータソリューション事業部 FB: MasayaIshikawa  職歴  外資系HWベンダーにて、ミニコン/UNIX OS担当SE. 社内SE向け技術情報発信、 トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とか  1993年 日本オラクルに入社。 DBインフラ系テクニカルサポート、コンサルティング、トラブルシュート。  1995年 インサイトテクノロジー設立 Oracleパフォーマンス管理ツール Performance Insight開発 (1995~) Oracleアクセスログ取得管理ツール PISO開発 (2004~) SQL Server版、富士通Symfoware版 PISO開発 (2005~) DBコンサルティング、トラブルシュート 2012年 DB専用IAサーバー Insight Qube 開発 2013年 Actian DWH向けRDBMS 販売開始 2015年 Delphix データ仮想化ソリューション 販売開始 現在 NVMe, NVMe Fabric, 大規模分析/ストレージ基盤などをR&D中
  3. 3. © 2016 Insight Technology, Inc. All Rights Reserved. 今日のセッションの目的とゴール 目的 • DevOpsは海外では既にスタン ダード。どーする日本? • DBAの立場から DevOpsを啓蒙 したい。 • でTest Data Management (TDM)の話と Delphixという製 品を紹介したい ゴール • TDMについて理解する • Database as Codeについて理解 する • Delphixのテクノロジーとメリッ トを理解する • DevOpsやらないとまずいな と思う
  4. 4. © 2016 Insight Technology, Inc. All Rights Reserved. 4 今日のkeyword TDM – Test Data Management Delphix Agile 開発、DevOps IaC - Infrastructure as Code Database as Code
  5. 5. © 2016 Insight Technology, Inc. All Rights Reserved. 5 Test Data Management
  6. 6. © 2016 Insight Technology, Inc. All Rights Reserved. 6 リファレンス製品 Oracle TEST DATA MANAGEMENT PACKとは 仮想化やクラウド・コンピューティングなどの新しいデータセン ター・テクノロジーの登場により、アプリケーション・データは急激 に増加しています。本番データベース内に留まらず、関連するテスト、 開発、本番データベース以外のその他のデータベースでも同様のこと が起こっています。Oracle Test Data Management Pack を使用す ると、アプリケーションの開発、トレーニングおよびテスト向けに、 データセットの参照整合性を維持しながらサイズを縮小した本番デー タのコピーを作成できるため、企業ではストレージ・コストの削減を 実現できます。Oracle Test Data Management Pack では、データ 検出とアプリケーションのモデリングにより、エンタープライズ・ア プリケーションの複雑なビジネス・ルールが自動的に実行され、正確 な本番データのサブセットが生成されます。 http://www.oracle.com/technetwork/jp/oem/db-mgmt/511875-ja.pdf
  7. 7. © 2016 Insight Technology, Inc. All Rights Reserved. 7 TDM Today (1) speed, work cost  インフラ担当者の作業コスト  承認オーバーヘッド  環境提供までの待ち時間 作業時間とコスト テスト時間の減少 単体テスト環境 本番DB環境の コピーを申請 統合テスト環境 本番DB環境の コピーを申請 品質管理環境 本番DB環境の コピーを申請 開発環境 システム管理者DB管理者 本番DB環境の コピーを申請 各種リソースの 確認 領域の確認と 切り出し ファイルシステム の構成 バックアップ ファイルのコピー DBのリカバリー DBのパラメータ調整 環境の引き渡し 数日の 待ち時間 ストレージ管理者 セキュリティの確保
  8. 8. © 2016 Insight Technology, Inc. All Rights Reserved. データコピー データコピー 900GB 900GB 900GB 900GB 開発 システム 単体テスト システム 統合テスト システム 品質管理 システム バックアップ システム 900GB 8 TDM Today (2) environment  テスト・開発環境には予想以上に ストレージ容量が必要  節約のため環境削減、共同利用など 本番システム 900GB 合計5.4TB HWコストアップ テスト・開発時間の減少
  9. 9. © 2016 Insight Technology, Inc. All Rights Reserved. 900GB 900GB 900GB 900GB 開発 システム 単体テスト システム 統合テスト システム 品質管理 システム バックアップ システム 900GB 9 TDM Today (3) data quality  ストレージ容量、ロード時間短縮のため データのサブセットを使用 本番システム 900GB データ再現性減少による テスト品質の低下 データサブセットのみ使用 100GB100GB100GB  自前で作成したダミーデータでのテスト 数MB 数MB
  10. 10. © 2016 Insight Technology, Inc. All Rights Reserved. 900GB 900GB 900GB 900GB 開発 システム 単体テスト システム 統合テスト システム 品質管理 システム バックアップ システム 900GB 10 TDM Today (4) data security  データマスキングの作業コスト 本番システム 900GB マスキング作業コスト テスト品質の低下  自前で作成したダミーデータでのテスト 社員 外注 外注 外注 ステージング コピーマスキング 外注
  11. 11. © 2016 Insight Technology, Inc. All Rights Reserved. 11 すべてDelphixで解決できる!! インフラ担当者の作業コスト  ボタン一つで環境作成 承認オーバーヘッド  Dev, QA担当で作業可能 環境提供までの待ち時間  元のデータサイズにかかわらず数分で環境構築可能 テスト・開発環境には予想以上にストレージ容量が必要 節約のため環境削減、共同利用など  データは圧縮かつ仮想化されており、格納効率は数10倍以上  仮想化されているため数100個の環境を作成するのも現実的
  12. 12. © 2016 Insight Technology, Inc. All Rights Reserved. 12 すべてDelphixで解決できる!!  ストレージ容量、ロード時間短縮のためデータのサブセットを使用  本番のフルデータを使用しても、ストレージ容量、ロード時間の 問題は発生しない 自前で作成したダミーデータでのテスト  本番データを元に作成しているので、データの考慮漏れなどによる不 具合などは発生しない。  データは常に(本番と同じ)最新状態に保つことが可能であり、 テスト品質の確保にプラス。 データマスキングの作業コスト  データの物理的コピーを伴わないため短時間でマスキング終了 かつステージング環境は必要ない  一度定義すると、最新データも自動的にマスキング、常に最新でセ キュアな環境を提供可能
  13. 13. © 2016 Insight Technology, Inc. All Rights Reserved. Sync Version Virtualize Apps Files Databases Delphix 会社概要 • 本社:米国カリフォルニア州 Menlo Park市 • 設立:2008年 / 正式製品リスース:2011年 / 従業員数: 387名 • 日本法人:2015年1月1日開設、現在5名(営業/エンジニア/マーケティング) • 経営陣及びチーム – CEO: Jedidiah Yueh (Avamar社創業者CEO (EMCにより買収)) – その他:Oracle Fusion Cache発明者 / Oracle Flashback Database発明者 / Oracle RACディレクター / VMWare EVP / Business Objects創業者 / ZFS共同発明者など • 導入企業:世界252社、日本国内6社 (2016年2月現在) 投資家 顧客 (252社) 会社概要
  14. 14. © 2016 Insight Technology, Inc. All Rights Reserved. Sync Version Virtualize Apps Files Databases  ソースシステム(例えば、本番環境)の物理的なDB/ファイルシステム/アプリケーション を、仮想的にコピーした環境を作成し、継続的に同期する仮想化ソリューション  仮想環境は任意の時刻で作成することが可能。  仮想環境はソースシステムとは独立した読み書き可能な環境であり、自由な更新が可能。  圧縮、重複排除技術によりソースデータは約1/3~1/4に圧縮して格納。  仮想環境作成時、実データは複製されず使用する領域はほぼ増加しない。 したがって、ソースのサイズにかかわらず仮想環境作成は数分で終了。  仮想化したデータに対して自動的で継続的なマスキングが可能。 コアテクノロジー
  15. 15. © 2016 Insight Technology, Inc. All Rights Reserved. 開発 NFS, iSCSI テスト 品質保証QA) 統合 分析 帳票 DELPHIXエンジン App Binaries, Files DB Binaries, Files Database ソースシステム(本番環境など) App Binaries, Files DB Binaries, Files Data Warehouse ソースシステム(本番環境など) SHARED DATA + CHANGED DATA Sync Version Virtualize Apps Files Databases 高圧縮 同期/差分情報コピー 物理容量を消費せず 仮想環境を 複数複製 任意の時刻で プロビジョニング マスキングや 物理環境へのリストアも可能 コアテクノロジー
  16. 16. © 2016 Insight Technology, Inc. All Rights Reserved. 開発 QA 受入テスト 本番環境 1 TB App Data Files Sync Version Virtualize Apps Files Databases 非本番環境  重複排除  圧縮  仮想化により領域追加消費なし  ユニークなブロックマッピング技術 0.3 TB コアテクノロジー
  17. 17. © 2016 Insight Technology, Inc. All Rights Reserved. 0 2 4 6データベースをリフレッシュ 従来 環境レフレッシュ テスト 環境レフレッシュ 環境レフレッシュ 期間 (週) リセットによりテスト業務効率が大幅に向上 Developer BASIS DBA サイクルタイムを3〜5倍に引き上げ、更に多くのテストを実行 テスト数の増加 テスト テスト テスト テスト テスト テスト テスト テスト テスト テスト テスト テスト テスト テスト  リフレッシュ時間を短縮(数日レ ベル→数時間レベル)  データベースをリセットするこ とにより待ち時間を削減  リセットにより処理ステップ数 を削減>> 削減できたリソース を他のプロジェクトに配分  すぐに使えるテストデータに アクセス可能  数分以内でリセット >> クオ リティの高いテストが行え、 且つ作業量を大幅に削減
  18. 18. © 2016 Insight Technology, Inc. All Rights Reserved. Delphixによるバージョン管理 Dev QA UAT Dev QA UAT v. X.2 Dev QA UAT v. X.3 本番システムのタイムフロー 仮想化により、複数開発プロジェクトの同時実 行が可能になり、また異なるデータベースの データ及びスキーマ変更履歴管理が容易に
  19. 19. © 2016 Insight Technology, Inc. All Rights Reserved. SAPアプリケーションプロジェクト:ランドスケープの仮想化 従来:典型的なSAPプロジェクトランドスケープ QA開発 本番前 プロジェク トライン N+1 プロジェク トライン N サポート ライン サンドボックス QA 本番開発 QA開発 本番前サンドボックス QA開発 本番前 プロジェクト ライン N+複数 プロジェクト ライン N サポート ライン サンドボックス QA 本番開発 QA開発 本番前サンドボックス • コピー作成、リフレッシュに数週間 • 物理コピーのためのインフラコスト • 環境が共有されており、且つ多くの制約があるため テスト、バリデーション作業に遅延が発生 同時開発を連続的に実行 >> チームあたりの生産性が20%向上 仮想化されたフルデータセットにより1/20まで物理容量を削減 サンドボックス提供により、更に多くのトレーニングクラス N+複数N
  20. 20. © 2016 Insight Technology, Inc. All Rights Reserved. エンドツーエンドの統合テストを円滑化 10:27:36 A.M. 1:30:20 P.M. 5:07:15 P.M. ECC BW CRM レガシーアプリ 在庫管理 Developer BASIS  時間がかかっていたリフ レッシュ作業を簡単なセ ルフサービスで代替 >> 削減できたリソースを他の プロジェクトに配分可能  数分以内で確実にデータ 同期 >> クオリティ の高いテストが行え、且 つやり直し作業削減 DBA 主要業務プロセスにおけるエ ンドツーエンドの透過性とコン トロールを提供 新規アプリのリリースマネジ メント及びTTMの高速化  全て環境ライフサイクル において、簡単な操作で 指定した時間のデータを 瞬時に同期
  21. 21. © 2016 Insight Technology, Inc. All Rights Reserved. 今までのプロセス: 複雑、他部署との連携、承認 COMPLEX. COSTLY. SLOW. データ管理プロセスの迅速化 VS. SELF SERVICE. EFFICIENT. ON DEMAND EMPOWERED USERS: SELF-SERVICE DATA AS A SERVICE セルフサービス 効率化 より速く→より高品質
  22. 22. © 2016 Insight Technology, Inc. All Rights Reserved. © 2014 Delphix. All Rights Reserved Private and confidential 22 Delphixによるセルフサービス (DBAを介さず、好きな時に好きなデータ断面を取出し) 任意の時間にマーキング 他ユーザへコメント共有
  23. 23. © 2016 Insight Technology, Inc. All Rights Reserved. “DATA AT RISK” IS IN DATABASE S お客様テーブル ID First_Name 1 George 2 Mary 3 John 従業員テーブル ID First_Name 5 John 6 George 7 Mary お客様テーブル ID First_Name 1 Romanth 2 Clara 3 Damien 従業員テーブル ID First_Name 5 Damien 6 Romanth 7 Clara 未マスクデータ マスク済データ データマスキングにより非本番環境の機密データを保護 現実性 テストや分析のために リアリティのある値を 保持 参照整合性 多数のデータベースが混在した環境でも整合性を保ちながらデータをマスキング 非可逆性 機密データを不可逆的 に置き換える 反復可能 更新されたデータも常 に同期し自動的にマス キング 本番環境内の機密データ 社会保障番号(マイナンバー) 、 クレジットカード番号、 患者情報、 Eメールアドレス等
  24. 24. © 2016 Insight Technology, Inc. All Rights Reserved. アプリケーションプロジェクトを加速化させるデータセキュリティソリューション 一般的なマスキング 1.物理データを毎回マスキングし移動させる時間・手間を回避 2.セキュアな環境を数分でデリバリ 3.セルフサービスでマスキングデータをプロビジョニング 開発、テスト、 QA 環境 18時間 コピー作成 マスク済 データ 6時間 コピー作成 コピー作成 マスクされた ゴールデンコ ピーの作成 開発、テスト、QA 環境 に対してマスクされた仮想コ ピーを提供 15分 マスク済 データ 4時間
  25. 25. © 2016 Insight Technology, Inc. All Rights Reserved. Products & Add-Ons Delphixエンジン– The Virtual Data Hub • ソフトウェアアプライアンス、一台ずつ課金 • サポートプラットフォーム: • VMWare, AWS EC2 • サポートデータソース: • Oracle, Microsoft SQL, Sybase, DB2, PostgreSQL, MySQL • Packaged Applications: Oracle EBS, SAP • Linux, Unix & Windows File Systems アドオン • Data Masking: In-Line Data Masking for All Sources • U2L: Unix to Linux Translation • Multi-Tier: All Supported DBs, Applications & File Systems • JetStream: Agile Development Toolkit • Mission Control: Advanced Reporting & Auditing Sync Version Virtualize Apps Files Databases
  26. 26. © 2016 Insight Technology, Inc. All Rights Reserved. 26 DevOps
  27. 27. © 2016 Insight Technology, Inc. All Rights Reserved. 27  コードのデプロイ頻度 30倍  リードタイム 1/200  エラー 1/60  エラーからの復旧時間 168倍
  28. 28. © 2016 Insight Technology, Inc. All Rights Reserved. 28 DevOps Guide – Selected Resources to Start Your Journey: © 2015 IT Revolution Press
  29. 29. © 2016 Insight Technology, Inc. All Rights Reserved. 29 de:code 2016 黒船襲来! 世界DevOps トップ企業 x マイクロソフトによるトークバトル セッション
  30. 30. © 2016 Insight Technology, Inc. All Rights Reserved. 30
  31. 31. © 2016 Insight Technology, Inc. All Rights Reserved. 31 Agile開発 - Before DevOps アジャイル開発 http://www.nec-nis.co.jp/ja/column/01_agile.html Agile Testing Agile Infrastructure (Infrastructure as Code)
  32. 32. © 2016 Insight Technology, Inc. All Rights Reserved. 32 DevOps Tools 1. Automated infrastructure 2. Shared version control 3. One step build and deploy 4. Feature flags 5. Shared metrics 6. IRC and IM robots Culture 1. Respect 2. Trust 3. Healthy attitude about failure 4. Avoiding Blame
  33. 33. © 2016 Insight Technology, Inc. All Rights Reserved. • Infrastructure as Code (IaC) • 継続的インテグレーション • 自動テスト • 継続的デプロイ • リリースマネジメント • アプリ パフォーマンスの監視 • ロード テストと自動スケーリング • 可用性監視 • 変更/構成管理 • 機能フラグ(フューチャーフラグ) • 環境へのプロビジョニングの自動解除 • セルフサービス環境 • 自動回復 (ロールバックとロールフォワード) • 仮説に基づく開発 • 運用環境でのテスト • フォールトインジェクション • 使用状況監視/ユーザー テレメトリ http://www.itproguy.com/devops-practices/ Agile Japan 2016 「日本でも出来る 本物の DevOpsジャーニー」より
  34. 34. © 2016 Insight Technology, Inc. All Rights Reserved. DevOps Tools Continuous Integration Jenkins, Teamcity, Travis Configuration Management Puppet, Chef, Ansible Configuration Inspection Sonarqube, HP Fortify, Coverity Containerization & Virtualization Docker, Vagrant, OpenStack, Hyper-V, VMware Version Control & Deployment DBmaestro Orchestration Apach Zookeeper, Apache Mesos Monitoring Nagios Delphix Data Management
  35. 35. © 2016 Insight Technology, Inc. All Rights Reserved. スプレッド取引業界最大 競争の激しい市場 既に実現していた仕組み - リリースマネジメントの自動化 - 継続的統合 - テストの自動化 - 高速設定・削除 開発グループはスクラム、TDD、BDDを採用 SAFe及びAgilePMによるアジャイル開発 “Best Mobile Trading Platform” を受賞 (atMoneyAM Online Finance Awards) 事例 “We turned to Agile to increase ITs value to the business and make it more effective.“
  36. 36. © 2016 Insight Technology, Inc. All Rights Reserved. テスト及びリリースマネジメントにおけるデータコピー が常にボトルネック スクラムのメリットがリリース時間で奪われる 同時に8プロジェクトを実行 複数の本番データのリストアにそれぞれ4時間必要 開発サイクルが長期化 リソースの依存関係に悩まされる イノベーションを犠牲に 課題 “We found ourselves having to sacrifice new innovative projects in order to prevent delivery rates from slipping.”
  37. 37. © 2016 Insight Technology, Inc. All Rights Reserved. MS SQL Server 2008のデータをDelphixにより仮想化 POC1ヶ月で構築 短期間で効果発揮 ソリューション 4時間かけていたDB作成を3分に短縮 共有して使っていたQA環境が不要 30名の開発者がセルフサービスでデータを利用 インフラ側管理者はデータコピー以外の重要な作業に注力 開発サイクルを75%短縮 アプリケーション・追加機能を更に20%多くデリバリ可能 成果 “Delphix has unlocked the potential of Agile helping us increase our output to the business by 20%.”
  38. 38. © 2016 Insight Technology, Inc. All Rights Reserved. 38 Wrap Up • Test Data Management に Database仮想化を入れると • DBインフラ担当の工数削減、 環境整備という(いわゆる)面白くない仕事を極小化出来る • 素早く柔軟な環境提供、本番フルデータを安全に提供 することにより、開発・テスト効率の大幅アップ • ストレージコストの削減 • DevOpsに Database as Code を入れると • DevOps環境で今まで仮想化・コード化されておらず足を引っ張って いたデータおよびデータベース、その最後のピースを改善して DevOpsのスピードアップを実現
  39. 39. © 2016 Insight Technology, Inc. All Rights Reserved. 39
  40. 40. © 2016 Insight Technology, Inc. All Rights Reserved. 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.

×