Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[db tech showcase Tokyo 2015] E26 Couchbaseの最新情報/JBoss Data Virtualizationで仮想データベース統合を実現

7,225 views

Published on

[db tech showcase Tokyo 2015] E26 Couchbaseの最新情報/JBoss Data Virtualizationで仮想データベース統合を実現

Published in: Engineering
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

[db tech showcase Tokyo 2015] E26 Couchbaseの最新情報/JBoss Data Virtualizationで仮想データベース統合を実現

  1. 1. SCSK株式会社 Couchhbaseの最新情報と JBoss Data Virtualizationで 仮想データベース統合を実現 2015年 6月 11日 ITエンジニアリング事業本部 ミドルウェア部 富杉正広
  2. 2. Copyright(c) SCSK Corporation - 1 - 自己紹介 SCSK株式会社 富杉 正広(とみすぎ まさひろ) 2013年9月よりCouchbase社の代理店として、 Couchbase社製品の営業/マーケティング/チームマ ネージャを担当しています。 2015年4月から弊社が代理店となっている、Red Hat 社のJBoss Middlewareのプリセールス/エンジニア としての活動も開始しました。
  3. 3. Copyright(c) SCSK Corporation - 2 - Agenda Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  4. 4. Copyright(c) SCSK Corporation - 3 -
  5. 5. Copyright(c) SCSK Corporation - 4 - Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  6. 6. Copyright(c) SCSK Corporation - 5 - Couchbase Serverの成り立ちとコンセプト +Apache CouchDB 超高速 メモリキャッシュ 柔軟なデータモデルを 備えたDB 高いスケーラビリティ と安全性 JSON形式データ スキーマレス スケールアウト オートシャーディング データレプリケーション 自動フェールオーバー ドキュメント型データベース 導入の容易さ/高性能・低レイテンシー/データ分散技術/多彩な運用管理機能 1.Couchbase Serverとは? memcached
  7. 7. Copyright(c) SCSK Corporation - 6 - 高可用性 キャッシュ Key Value ドキュメント 指向 組込み/モバイル データベース 同期管理 Couchbaseが提供する様々な機能は、 アプリケーションや導入事例を幅広くサポートします。 1.Couchbase Serverとは?
  8. 8. Copyright(c) SCSK Corporation - 7 - 1.Couchbase Serverとは? ハイパフォーマンス 高可用性 柔軟なデータモデル Couchbase Serverは、「今」と「未来」の要求にこたえられる NoSQLデータベースです。 スケーラビリティ 24x365
  9. 9. Copyright(c) SCSK Corporation - 8 - ハイパフォーマンス Fine Grained Locking Hash Partitioning 内蔵キャッシュメモリ キャッシュ層を個別に持つ必 要がありません。 ドキュメントレベルのロッ ク機構 並列処理によるハイスルー プットが可能となります。 ハッシュパーティショニング データを均一に分散配置する ことによりホットスポットを 回避します。 Built-in Cache 1.Couchbase Serverとは?
  10. 10. Copyright(c) SCSK Corporation - 9 - スケーラビリティ XDCRSingle Node Type 自動シャーディング ユーザ自身ではなくデータベ ースが自動でデータの分散を 行います。 地理的に異なるクラスタ間 のレプリケーション DR対策/異なる場所にクラ スタ構成を組むことができ ます。 クラスタ管理がシンプル スケールが容易で、ノードを 1から10、10から100 と自由に追加/また削除をす ることができます。 Auto Sharding 1.Couchbase Serverとは?
  11. 11. Copyright(c) SCSK Corporation - 10 - 高可用性 HA via Replication DR via XDCR Online administrative operations オンラインでDBのアップグ レード/HWのメンテナンス アプリケーションに影響を与 えずに操作が可能です。 インメモリのレプリカで高 可用性を実現 自動/手動でのフェイルオ ーバー XDCRでディザスタリカバリ 対策 全てのアドミン操作がオンラ イン •コンパクション •インデクシング •リバランス •バックアップ & リストア 1.Couchbase Serverとは? Online DB upgrades and maintenance 24x365
  12. 12. Copyright(c) SCSK Corporation - 11 - 柔軟なデータモデル Handles constantly changing data Maintains Native object representation スキーマレス 様々な構成のデータでもJSON ドキュメントであれば簡単に 管理ができます。 データベースの変更に対応 データベースに変更やダウ ンタイムを生じさせずにデ ータの変更ができます。 ネイティブオブジェクト データを行x列ではなくオブ ジェクトとして捉えます。 いかなるドキュメントの属性 でもインデックスを作成しま す。 1.Couchbase Serverとは? Schema-less for structured / un/semi- structured data
  13. 13. Copyright(c) SCSK Corporation - 12 - Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  14. 14. Copyright(c) SCSK Corporation - 13 - • N1QL • インデックスの改良 • 多次元スケーラビリティ • Forest DB • セキュリティ 2.Couchbase Server 4.0の新機能 主な新機能
  15. 15. Copyright(c) SCSK Corporation - 14 - Flexibility of JSONPower of SQL 2.Couchbase Server 4.0の新機能 N1QL SQL for JSON. SQL準拠のクエリ言語 これまでのViewによるクエリよりも、さらにアドホックで柔軟なクエリに よるデータ操作が行えます。
  16. 16. Copyright(c) SCSK Corporation - 15 - 2.Couchbase Server 4.0の新機能 N1QL SELECT, UPDATE, DELETEの操作が可能で、WHERE句、LIMIT句、ORDER BY句、GROUP BY句等による検索に加え、JOINも行えます。 クエリの実行結果は、JSONドキュメントで返されます。 SELECT t.relation, COUNT(*) AS count, AVG(c.age) AS avg_age FROM tutorial t UNNEST t.children c WHERE c.age > 10 GROUP BY t.relation HAVING COUNT(*) > 1 ORDER BY avg_age DESC { "results": [ { "avg_age": 19, "count": 2, "relation": "cousin" }, { "avg_age": 17, "count": 2, "relation": "friend" } ] } SELECT usr.personal_details, orders FROM users_with_orders usr USE KEYS "Tamekia_13483660" LEFT JOIN orders_with_users orders ON KEYS ARRAY s.order_id FOR s IN usr.shipped_order_history END { "results": [ { "personal_details": { "age": 39, "display_name": "Tam Aki", "email": "TamAki@mail.com", "first_name": "Tamekia", "last_name": "Akin", "state": "Massachusetts" } } ] }
  17. 17. Copyright(c) SCSK Corporation - 16 - ODBC / JDBC App CB Node ODBC / JDBC ETL ODBC / JDBC BI ODBC / JDBC Visualization CB Node CB Node 2.Couchbase Server 4.0の新機能 N1QL N1QLにあわせて、ODBC / JDBC ドライバの開発も進んでいます。 これまで接続が困難だった外部ツールやアプリケーションからの利用が容易にな ります。
  18. 18. Copyright(c) SCSK Corporation - 17 - 2.Couchbase Server 4.0の新機能 インデックスの改良と機能追加 インデックスに関して、改良と機能追加が行われました。 Viewインデックスの改良 検索性能の大幅向上 データサービスからの独立(インデックスサーバの分離) 空間インデックス機能の追加 空間インデックスの使用を正式サポート Geoクエリの実装(立体的な範囲指定クエリの実行が可能に) GeoJSONの出力機能の追加
  19. 19. Copyright(c) SCSK Corporation - 18 - 2.Couchbase Server 4.0の新機能 多次元スケーラビリティ 水平スケーラビリティ Couchbase Server 3.xまでは、クラスターに単純にノードを追加することで スケーラビリティを実現 Node 8 Index Service Couchbase Cluster Query Service Data Service Node 1
  20. 20. Copyright(c) SCSK Corporation - 19 - 2.Couchbase Server 4.0の新機能 多次元スケーラビリティ 多次元スケーラビリティ Couchbase Server 4.0で、インデックスサービスとデータサービスの分離 Node 8 Index Service Couchbase Cluster Query Service Data Service Node 1
  21. 21. Copyright(c) SCSK Corporation - 20 - 2.Couchbase Server 4.0の新機能 多次元スケーラビリティ 多次元スケーラビリティ Couchbase Server 4.0で、インデックスサービスとデータサービスの分離 より柔軟なスケーラビリティを実現 Node 8 Index Service Couchbase Cluster Query Service Data Service Node 1 Node 1 Node 9 Query Service Index Service Data Service
  22. 22. Copyright(c) SCSK Corporation - 21 - 2.Couchbase Server 4.0の新機能 Forest DB ストレージエンジンがB+木を発展させた「Forest DB」に刷新されます。 Forest DBの特徴は以下のとおりです。 – データの外部記憶装置への保存効率が向上 – さまざまな処理に高いパフォーマンスを発揮 – モバイル端末から大規模サーバまで、ハードウェアに関係なく利用可能 – SSDに最適化 Forest DBの仕様はIEEEに認められ、標準化が進められています。 スループット格納効率 LevelDB、RocksDBと比較し コンパクトに 5倍 高速に 6倍
  23. 23. Copyright(c) SCSK Corporation - 22 - 2.Couchbase Server 4.0の新機能 セキュリティ セキュリティに関して、以下の改良が行われました。 マルチテナントとアカウント情報の一元管理 複数の管理者/参照者ユーザの設定が可能になります。 アカウント情報をCouchbase Server上で一元管理できます。 LDAPとの連携 監査ログの出力
  24. 24. Copyright(c) SCSK Corporation - 23 - Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  25. 25. Copyright(c) SCSK Corporation - 24 - 3.SCSK最新事例 エンタープライズサーチ適用事例 企業規模の急成長(提供サービス種、取引先の急増)、および、基幹システムの 老朽化による課題 – 小規模・専用システムの乱立 – 情報管理の属人化/属部署化 – 従業員の経験、業務習熟度による作業効率格差の拡大 – 従業員の教育コストの増加 企業内の情報を横断的に検索/取得できる 仕組みを導入
  26. 26. Copyright(c) SCSK Corporation - 25 - 3.SCSK最新事例 エンタープライズサーチ適用事例 販売管理 システム 営業部A 基幹 システム その他 システム 営業部B 伝票作成 販売管理 システム 営業部A 基幹 システム その他 システム 営業部B クローラ Webアプリケーション データ同期(XDCR) データ投入 全文検索 データ取得 横断検索&伝票出力 個人の知識、経験を活かして 社内に散在する情報を 収集し、伝票を作成 Couchbase Server + Elasticsearchで 社内の情報を一元的に検索し、伝票を出力
  27. 27. Copyright(c) SCSK Corporation - 26 -
  28. 28. Copyright(c) SCSK Corporation - 27 - Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  29. 29. Copyright(c) SCSK Corporation - 28 -  JBossコミュニティでリリース済みの実績あるものを再構成し、エンタープライズレベルの QAを実施後、RedHatより提供されるプロダクト  3つのカテゴリの実行環境、デザイン/開発ツールおよび管理ツールで構成 ユーザインタフェース 開発環境 ビジネスプロセス管理 アプリケーション統合 基盤 データ仮想化 統合管理 JBoss Portal JBoss BRMS JBoss BPM Suite JBoss A-MQ JBoss Fuse JBoss Fuse Service Works JBoss Data Virtualization JBoss EAP JBoss Web Server JBoss Data Grid JBoss Developer Studio JBoss Operations Network MIDDLEWARE 1.Red Hat JDVとは? Red Hat JBoss Middleware 製品ラインナップ
  30. 30. Copyright(c) SCSK Corporation - 29 - 1.Red Hat JDVとは? Red Hat JBoss Data Virtualization 企業内・外のあらゆるデータを「モデリング」、「仮想統合」、「リアルタイム 連携」する実行基盤 – 複数データソースを参照/更新する標準ベースのインターフェースを提供 – データ仮想化によりデータ構造や項目を自由に変換 – データをコピーせずにデータの統合を実現 – 監査証跡の取得や集中アクセスコントロールの基盤として利用可能
  31. 31. Copyright(c) SCSK Corporation - 30 - 1.Red Hat JDVとは? システム構成イメージ JBoss Data Virtualization 論理物理 RDBMS DWH LDAP Cloud File Office製品 BI 連携 仮想 統合 NoSQL JDBC ODBC SOAP REST OData さまざまなデータソースを物理モデルとして定義 物理モデルから論理モデルを自由に作成 利用者は、論理モデルよりSQLを利用してアクセス
  32. 32. Copyright(c) SCSK Corporation - 31 - 1.Red Hat JDVとは? サポートデータソース データベース: • Oracle • IBM DB2 • Microsoft SQL Server: • Sybase ASE • MySQL • PostgreSQL • Ingres データウェアハウス: • Teradata • Netezza • Greenplum Hadoop: • Apache • HortonWorks • Cloudera • More coming… オフィス製品: • Microsoft Excel • Microsoft Access • Google Spreadsheets 特殊データ: • ModeShape Repository • Mondrian • MetaMatrix • LDAP NoSQL: • JBoss Data Grid • MongoDB • More coming… アプリケーション: • Salesforce.com • SAP コネクタ: • Flat Files, XML Files, XML over HTTP • SOAP Web Services • REST Web Services • OData Services
  33. 33. Copyright(c) SCSK Corporation - 32 - ・あらゆるデータソースを透過的、仮想的に統合 ・リアルタイム連携 ・データ蓄積が不要なため2重管理問題がない ・データ構造や統合処理の変更に柔軟に対応可能 データ連携・統合 データキャッシュ DWH・データマート アクセス管理・監査証跡 ・利用者やロール毎に見せる・見せないを制御 ・監査証跡の取得を自由に設定可能 ・LDAP連携によるユーザ管理統合 ・監査証跡の取得や集中アクセスコントロールの 基盤として利用可能 ・Memoryキャッシュによる高速アクセス ・DBを跨るマテリアライズドビューの構築 ・その他、結果セット・コードキャッシュ ・標準的なSQLが利用可能 ・一般的なDWH製品と比較して低コスト ・利用者毎に必要なデータを事前に条件で絞り 込みマートを作成することが可能 ・短期間でデータ基盤の構築が可能 Red Hat JDVの4つの特徴 1.Red Hat JDVとは?
  34. 34. Copyright(c) SCSK Corporation - 33 - これまでのシステム連携イメージ 複数のデータソースをEAI/ETLで連携し、他のDBへ統合 BI等分析用の照会用テーブルやデータマートをデータウェアハウスに生成 利用者からのアクセス高速化のため、データをメモリへキャッシング File 照会 RDBMS EAI/ETL DWH RDBMS InMemory DataGrid マート 生成 データ 統合 BI 連携 キャッシュ 1.Red Hat JDVとは?
  35. 35. Copyright(c) SCSK Corporation - 34 - Red Hat JDVを使用したシステム連携イメージ 複数のデータソースをJDVで連携・統合 BI等分析用の照会用テーブルやデータマートを論理テーブルとしてJDV上に定義 利用者からのアクセス高速化のため、データをJDVにキャッシング (マテリアライズドビュー) JBoss Data Virtualization File 照会 RDBMS BI 連携 マテリアライズド ビュー 1.Red Hat JDVとは?
  36. 36. Copyright(c) SCSK Corporation - 35 - データ仮想化技術により、以下のような使い方が可能です。 – 「データ連携・統合」 – 「データキャッシュ」 – 「データマート」 JDV EAI/ETL ESB/SOA InMemory DataGrid ビッグデータ DWH データ連携・統合 (バッチ・大量データ) ◎ ◎ 〇 × △ システム連携 (リアルタイム) 〇 △ ◎ △ × データキャッシュ ◎ × × ◎ × DWH・データマート 〇 × × △ ◎ 1.Red Hat JDVとは? JDVの使い方
  37. 37. Copyright(c) SCSK Corporation - 36 - データ連携・統合 RDB JDV ETL/EAIの場合 – データ連携・統合先にもDBが必要 – データの二重管理が発生 – 一括バッチ処理が基本 File EAI/ETL 統合DB JDVのメリット – あらゆるデータソースを透過的、仮想的に統合 – データを持たないので2重管理問題が発生しない – 用途に併せてリアルタイム連携も可能 RDB File ? 1.Red Hat JDVとは?
  38. 38. Copyright(c) SCSK Corporation - 37 - データ連携・統合 DWH製品の場合 – 一般的に高価 – 製品固有の設計・チューニングノウハウが必要 JDVのメリット – JDV内でマートの構築が可能 – 利用者毎に見せる・見せないの制御が可能 – 標準的なSQLが利用可能 – 監査証跡の取得を自由に設定可能 – LDAP連携によるユーザ管理統合 JDV RDB File データウェアハウス RDB LDAP 認証 1.Red Hat JDVとは?
  39. 39. Copyright(c) SCSK Corporation - 38 - Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  40. 40. Copyright(c) SCSK Corporation - 39 - 2.SCSK導入事例 データ統合基盤適用事例 複数の業種・業態のグループ企業展開する企業グループにおいて顧客情報・活 動情報等グループ各社の情報を統合、横断的な活用を実現 – 各社保有データの取り込み – レイアウト/コード変換(データ統合) – クレンジング 業務アプリケーション (横断的にデータ活用する) 固定長 ファイル 固定長 ファイルI/F JDBC JDBC DBMS JDBC ビジネス ロジック ファイル編集 ロジック SQLFile I/O ビジネス ロジック 仮想データ統合 適用なし(スクラッチ開発) DBMSDBMS DB抽出・マージ ロジック SQL SQL
  41. 41. Copyright(c) SCSK Corporation - 40 - 2.SCSK導入事例 データ統合基盤適用事例 複数の業種・業態のグループ企業展開する企業グループにおいて顧客情報・活 動情報等グループ各社の情報を統合、横断的な活用を実現 – 各社保有データの取り込み – レイアウト/コード変換(データ統合) – クレンジング 業務アプリケーション(横断的にデータ活用する) 固定長 ファイル DBMS ビジネス ロジック ビジネス ロジック 仮想データ統合 JDV 仮想TBL 仮想TBL JDBC 新規追加 Webサービス JDVコネクタ群 効果① 生産性向上 効果② 開発・レビュー 品質向上 効果③ 影響範囲を 極小化 SQL SQL 各業態からのレコードについ てフォーマット変更などは JDVの定義修正のみで対応可 仮想データ統合 適用有(JDV) 業務アプリケーション (横断的にデータ活用する) 固定長 ファイル 固定長 ファイルI/F JDBC JDBC DBMS JDBC ビジネス ロジック ファイル編集 ロジック SQLFile I/O ビジネス ロジック 仮想データ統合 適用なし(スクラッチ開発) DBMSDBMS DB抽出・マージ ロジック SQL SQL DBMSDBMS
  42. 42. Copyright(c) SCSK Corporation - 41 - Part 1. Couchbase 1.Couchbase Serverとは? 2.Couchbase Server 4.0の新機能 3.SCSK最新事例 Part 2. Red Hat JBoss Data Virtualization (JDV) 1.Red Hat JDVとは? 2.SCSK導入事例 3.SCSK検証レポート
  43. 43. Copyright(c) SCSK Corporation - 42 - 3.SCSK検証レポート JDV、いろいろ便利そうだけど、気になるのは、やはり、 、、、ということで、SCSKで性能検証を行いました。 パフォーマンス
  44. 44. Copyright(c) SCSK Corporation - 43 - JDV売り上げ分析AP 顧客 購入検索・更新 顧客DB 3.SCSK検証レポート 検証シナリオ オンライン商品販売における売り上げ分析を想定事例 商品取引に必要なDB/テーブルを構成 複数DBMSをまたがる検索のため、Oracle, MySQL, SQL Serverを用意 複数DBMS間のJOIN処理時を検証するため、各DBBMSに同一テーブルを用意 商品マスタ DB 取引DB オ ン ラ イ ン 店 舗 DB仮想化は 本当に有効?? Customer Goods Trade Oracle Customer Goods Trade MySQL Customer Goods Trade SQL Server 単一DBに対する検証 複数DB(2~3)に対する検証
  45. 45. Copyright(c) SCSK Corporation - 44 - 3.SCSK検証レポート 検証結果 検索パターン スレッド/秒 1 DB : 3 Table Join 100スレッド/秒 (MySQL) (SQL Server) (Oracle) 検索パターン スレッド/秒 3 DB : 3 Table Join 100スレッド/秒
  46. 46. Copyright(c) SCSK Corporation - 45 - 3.SCSK検証レポート 検証結果 検索パターン スレッド/秒 1 DB : 3 Table Join 100スレッド/秒 (MySQL) (SQL Server) (Oracle) 検索パターン スレッド/秒 3 DB : 3 Table Join 100スレッド/秒 JDVのキャッシング機能の効果で、 単一DB&複数テーブル、複数DB&複数テーブルの JOIN処理は、いずれも、 直接DBMSを参照するよりJDVの経由の方が 低レイテンシーで動作します
  47. 47. Copyright(c) SCSK Corporation - 46 - 会社名: SCSK株式会社(日本国内でのCouchbase社の代理店) 所在地: 東京都江東区豊洲3-2-20 豊洲フロント 設立: 1969(昭和44)年10月25日 資本金: 21,152百万円 従業員: 11,754名 (連結)(2015年3月31日現在) 業容: 【お問合わせ】 SCSK株式会社 ITエンジニアリング事業部ミドルウェア部 TEL:03-5166-1320 E-mail:nosql-sales@ml.scsk.jp , Jboss-sales@ml.scsk.jp 会社案内

×