Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Vertica 8.0.0 新機能

163 views

Published on

Vertica 8.0.0 新機能

Published in: Technology
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes.........ACCESS WEBSITE Over for All Ebooks ..... (Unlimited) ......................................................................................................................... Download FULL PDF EBOOK here { https://urlzs.com/UABbn } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ..............ACCESS that WEBSITE Over for All Ebooks ................ ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full EPUB Ebook here { https://urlzs.com/UABbn } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes.........ACCESS WEBSITE Over for All Ebooks ..... (Unlimited) ......................................................................................................................... Download FULL PDF EBOOK here { https://urlzs.com/UABbn } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • -- DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT -- ......................................................................................................................... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... (Unlimited)
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Vertica 8.0.0 新機能

  1. 1. Vertica 8.0.0 新機能 (a.k.a. Frontloader) HPE Japan Bigdata Platform Presales
  2. 2. HPE Vertica 8.0.0 “Frontloader” ハイライト 1. パフォーマンス向上 –クエリー –データロード 2. クラウド&オープンソース連携強化 –Microsoft Azure対応 –Apache Spark対応 3. その他機能拡張 3
  3. 3. Vertica 8.0.0 新機能 目次 1.クエリーパフォーマンスに関して 2.データロードパフォーマンスに関 して 3.サポートプラットフォーム 4.インストール&アップグレード 5.クライアント接続 6.クエリー管理 7.テーブル機能 8.制約機能 9. データロード機能 10.テキスト検索 11.マネージメントコンソール 12.SQL機能とステートメント 13.SDKアップデート 4
  4. 4. クエリーパフォーマンスに関して 5 • クエリー単体処理 • クエリー多重実行スループットの向上 • ノードダウン時のクエリーパフォーマンスの向上
  5. 5. クエリー単体処理 TPC-Hベンチマーク(SF=100) – 同一環境、同一計測方法で実施 – 大きな差は発生しなかった(誤差のレベル) 6 Query# V7.2.3-1 処理時間 [ms] V8.0.0-0 処理時間 [ms] 性能比 件数 Group By Order By Join 1 24,356.28 23,849.26 1.02 4 有 有 無 2 6,562.14 6,056.67 1.08 100 無 無 有 3 14,613.62 13,667.09 1.07 10 有 有 有 4 38,867.74 38,714.12 1.00 5 有 有 無 5 19,610.98 19,427.48 1.01 5 有 有 有 6 4,856.71 4,840.60 1.00 1 無 無 無 7 12,188.03 11,902.86 1.02 4 有 有 有 8 14,054.43 16,383.92 0.86 2 有 有 無 9 95,592.61 95,486.76 1.00 175 有 有 無 10 56,706.94 56,240.22 1.01 20 有 有 有 11 2,180.02 2,016.79 1.08 91,219 有 有 有
  6. 6. クエリー単体処理 TPC-Hベンチマーク(SF=100) – 同一環境、同一計測方法で実施 – 大きな差は発生しなかった(誤差のレベル) 7 Query# V7.2.3-1 処理時間 [ms] V8.0.0-0 処理時間 [ms] 性能比 件数 Group By Order By Join 12 31,925.94 30,585.20 1.04 2 有 有 有 13 76,785.14 71,076.28 1.08 45 有 有 無 14 8,968.09 8,978.10 1.00 1 無 無 有 15 9,522.05 9,618.47 0.99 1 無 有 有 16 32,956.67 33,000.65 1.00 27,840 有 有 有 17 29,240.68 29,647.27 0.99 1 無 無 有 18 15,569.55 16,166.51 0.96 100 有 有 有 19 13,366.54 13,354.51 1.00 1 無 無 有 20 33,740.20 33,766.77 1.00 111,490 無 有 有 21 122,509.92 122,680.05 1.00 100 有 有 有 22 12,089.40 11,899.05 1.02 7 有 有 無 11分16秒 11分9秒 1.01
  7. 7. クエリー単体処理 TPC-Hベンチマーク(SF=100) 環境情報(参考) – ノード – ストレージ 8 リージョン 役割 AWSサービス タイプ ノード数 CPU メモリ 内部ストレージ 容量 タイプ I/O 東京 DWHノード Amazon EC2 c3.4xlarge 1 16vCPU 30GiB 2x160GB 汎用SSD 不祥 リージョン 役割 AWSサービス タイプ ストレージ 容量 I/O 東京 DWH用データ格納ストレージ Amazon EBS io1 2x200GB (RAID0) 250M/s (*) *ノード全体スループット/vioperfによる計測
  8. 8. クエリー多重実行スループットの向上 従来のチャレンジ 9 . • 3ノード(各ノード24Core)クラスター • 1~29セッションで100クエリーを連続で実行し、秒間のクエリー実行 数を計算 => プラン作成、クエリ実行ともにスループットがすぐに頭打ちになる
  9. 9. クエリー多重実行スループットの向上 プラン作成時間 10 クエリー多重実行時のプラン作成のスループットを改善
  10. 10. クエリー多重実行スループットの向上 クエリー実行時間 11 クエリー多重実行時のクエリー実行のスループットを改善
  11. 11. ノードダウン時のクエリーパフォーマンス向上 全ノードUP時と1ノード停止時の実行計画の相違(~v7.2.x) 全ノードUP時 1ノード停止時 読み込み処理 Projection A0 少数のカラムのみ先にマ テリアライズ 結合処理 (パスXX) 絞り込み処理 Projection A0 読み込み処理 Projection A0 読み込み処理 Projection A1 UNION処理 絞り込み処理 UNION結果 結合処理 (パスXX) オリジナルのプロジェクション(Projection A0)とバディープロジェ クション(Projection A1)の結果をUNIONする内部処理に変更と なるため、関連するカラムをすべて先にマテリアライズする必要 あり
  12. 12. ノードダウン時のクエリーパフォーマンス向上 8.0.0の改善内容 7.2.3まで: 8.0.0: 15 読み込み処理 Projection A0 読み込み処理 Projection A1 UNION処理 絞り込み処理 UNION結果 結合処理 (パスXX) 読み込み処理 Projection A0 Projection A1 絞り込み処理 結合処理 (パスXX) 元のプロジェクションとバディープロジェ クションの結果のUNIONを扱うのでは なく、読み込みの時点で、両プロジェク ションからデータを読み込み、その後は 全ノードUP時と同じように処理される 想定
  13. 13. ノードダウン時のクエリーパフォーマンス向上 16 0 5 10 15 20 25 30 Query 1 Query 2 Runningtime(ms) All nodes up Old buddy-down plan New buddy-down plan
  14. 14. ノードダウン時のクエリーパフォーマンス向上 17 0 5 10 15 20 25 30 Query 1 Query 2 Runningtime(ms) All nodes up Old buddy-down plan New buddy-down plan
  15. 15. データロードパフォーマンス に関して 18 • 自動分配ロード(Apportioned Load)で大容量データのロードパフォーマ ンスを向上 • カラム数の多いテーブルへのロードパフォーマンスが向上
  16. 16. データロードパフォーマンスに関して 自動分配ロード(Apportioned Load)で大容量データのロードパフォーマンスを向上 – 大容量ファイルを内部で自動分割してロード可能 – パフォーマンスの大幅向上 – DBパラメーター「EnableApportionedFileLoad」(COPY FILE)「EnableApportionLoad」(COPY WITH SOURCE) で機能の有効/無効を調整可能 19 v7.2.3まで v8.0.0
  17. 17. 0 1 2 3 4 5 6 7 8 9 10 250 500 750 1000 1250 1500 Seconds Columns in Target Table Execution Time Single-Node Apportioned データロードパフォーマンスに関して 自動分配ロード(Apportioned Load)で大容量データのロードパフォーマンスを向上 20
  18. 18. データロードパフォーマンスに関して カラム数の多いテーブルへのロードパフォーマンスが向上 21 0 5 10 15 20 25 250 500 750 1000 1250 1500 Seconds Columns in Target Table Time to COPY 200MiB ON ANY NODE v7.2.x : カラム数が多いほどパフォーマンスに影響
  19. 19. データロードパフォーマンスに関して カラム数の多いテーブルへのロードパフォーマンスが向上 22 15 10 5 0 5 10 15 250 500 750 1000 1250 1500 Seconds Columns in Target Table Time to COPY 200MiB ON ANY NODE Planning Time (s) Execution Time (s) v7.2.x : データ解析および配布にかかる時間が 多くを占めている
  20. 20. 15 10 5 0 5 10 15 250 500 750 1000 1250 1500 Seconds Columns in Target Table Time to COPY 200MiB ON ANY NODE Planning Time (7.2.2) Planning Time (8.0.0) Execution Time データロードパフォーマンスに関して カラム数の多いテーブルへのロードパフォーマンスが向上 23 v8.0.0 : データ解析および配布にかかる時間を 大幅に改善
  21. 21. 0.00 2.00 4.00 6.00 8.00 10.00 12.00 14.00 250 500 750 1000 1250 1500 Seconds Columns Average Planning Time 7.2.2 7.2.3 8.0.0 データロードパフォーマンスに関して 24 Over 60% improvement カラム数の多いテーブルへのロードパフォーマンスが向上(v7.2.xとv8.0.0) v8.0.0 : データ解析および配布にかかる時間を 大幅に改善
  22. 22. サポートプラットフォーム 25 • Microsoft Azure対応 • Apache Spark Connector • サポートプラットフォームの追加変更分 • FIPSクライアント
  23. 23. サポートプラットフォーム v8.0.0 新規 Microsoft Azure クラウド対応 その他 – HPE Vertica on Microsoft Azure 26 MS Azure Marketplace
  24. 24. サポートプラットフォーム v8.0.0 新規 Apache Spark Connector – Apache Spark connector – 前提バージョン 27 Apache Spark Vertica 1.6 7.2.3-5+ and 8.0.x VerticaとSpark RDD/Dataframe間のデータ連携が可能に
  25. 25. サポートプラットフォーム v7.2.3 Vertica Server and Vertica Management Console(MC) – サポートOS – RHEL & CentOS : 6.0, 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.7, 7.0 – SUSE : 11.0, 11.1, 11.2, 11.3 – Oracle Enterprise Linux : 6.x 6.7 – Debian : 7.0, 7.1, 7.2, 7.3, 7.4, 7.5, 7.6, 7.7 – Ubuntu : 12.04 LTS, 14.04 LTS – サポートファイルシステム – EXT3, EXT4 – サポートブラウザー(MC) – IE 10 以降 – Firefox 31 以降 – Google Chrome 38 以降 – VerticaとMCのバージョン互換性 – 完全にバージョンを合わせる必要がある(パッチバージョン含む) 28
  26. 26. サポートプラットフォーム v8.0.0 追加変更分 Vertica Server and Vertica Management Console(MC) – サポートOS – RHEL & CentOS : 6.0, 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.7, 7.0 – SUSE : 11.0, 11.1, 11.2, 11.3 – Oracle Enterprise Linux : 6.x 6.7 – Debian : 7.0, 7.1, 7.2, 7.3, 7.4, 7.5, 7.6, 7.7 – Ubuntu : 12.04 LTS, 14.04 LTS – サポートファイルシステム – EXT3, EXT4 – サポートブラウザー(MC) – IE 10 以降 – Firefox 31 以降 – Google Chrome 38 以降 – VerticaとMCのバージョン互換性 – 完全にバージョンを合わせる必要がある(パッチバージョン含む) Vertica 6.1以降であれば、MC 8.0.xとの互換性あり 29 サポートバージョンが絞られた EXT3のサポートは終了 ブラウザは変わらない 互換性の考え方は変わった
  27. 27. サポートプラットフォーム v7.2.3 Vertica Client Drivers – ADO.NET Driver(Windows) – 前提ソフトウェア – .NET Framework 3.5 SP1 以降 – Windows 7, 8, 10 (32 & 64 bit) – Windows Server 2008, 2008 R2 (32 bit) – Windows Server 2008, 2008 R2, 2012, 2012 R2 (64 bit) – JDBC Driver(All platform) – Java 5 以降 – ODBC Driver(Windows) – 前提Driver Manager – Microsoft ODBC MDAC 2.8 – Windows 7, 8, 10 (32 & 64 bit) – Windows Server 2008, 2008 R2 (32 bit) – Windows Server 2008, 2008 R2, 2012, 2012 R2 (64 bit) – ODBC Driver(Linux/Unix/Mac OS) – 前提Driver Manager – iODBC 3.52.6 以降 – unixODBC 2.3.0 以降 – DataDirect 5.3, 6.1 以降 – RHEL/CentOS 6.x, 7.x – SUSE 11.x – Oracle Enterprise Linux 6.x – Ubuntu 12.04 LTS, 14.04 LTS – AIX 5.3, 6.1 – HP-UX 11i V3 – Solaris 10 – Mac OS X 10.7, 10.8, 10.9 30
  28. 28. サポートプラットフォーム v8.0.0 追加変更分 Vertica Client Drivers – ADO.NET Driver(Windows) – 前提ソフトウェア – .NET Framework 3.5 SP1 以降 – Windows 7, 8, 10 (32 & 64 bit) – Windows Server 2008, 2008 R2 (32 bit) – Windows Server 2008, 2008 R2, 2012, 2012 R2 (64 bit) – JDBC Driver(All platform) – Java 5 以降 – ODBC Driver(Windows) – 前提Driver Manager – Microsoft ODBC MDAC 2.8 – Windows 7, 8, 10 (32 & 64 bit) – Windows Server 2008, 2008 R2 (32 bit) – Windows Server 2008, 2008 R2, 2012, 2012 R2 (64 bit) – ODBC Driver(Linux/Unix/Mac OS) – 前提Driver Manager – iODBC 3.52.6 以降 – unixODBC 2.3.0 以降 – DataDirect 5.3, 6.1 以降 – RHEL/CentOS 6.x, 7.x 6.5, 6.6, 6.7, 7.0 – SUSE 11.x 11.3 – Oracle Enterprise Linux 6.x 6.7 – Ubuntu 12.04 LTS, 14.04 LTS – AIX 5.3, 6.1 – HP-UX 11i V3 – Solaris 10 – Mac OS X 10.7, 10.8, 10.9, 10.10, 10.11 – FIPS-compliant Red Hat Enterprise Linux 6.6 31 New! サポートバージョンが絞られた
  29. 29. サポートプラットフォーム v7.2.3 Vertica Client Drivers(つづき) – vsql Client – Windows 7, 8.x, 10 (32 & 64 bit) – Windows Server 2008, 2008 R2, 2012, 2012 R2 (32 & 64 bit) – RHEL/CentOS 6.x, 7.x – SUSE 11.x – Oracle Enterprise Linux 6.x – Ubuntu 12.04 LTS – AIX 5.3, 6.1 – HP-UX 11i V3 – Solaris 10 – Mac OS X 10.7, 10.8, 10.9 – クライアントとサーバーの互換性 32 Client Driver Vertica Server 6.1.x 6.1.x, 7.0.x, 7.1.x, 7.2.x 7.0.x 7.0.x, 7.1.x, 7.2.x 7.1.x 7.1.x, 7.2.x 7.2.x 7.2.x
  30. 30. サポートプラットフォーム v8.0.0 追加変更分 Vertica Client Drivers(つづき) – vsql Client – Windows 7, 8.x, 10 (32 & 64 bit) – Windows Server 2008, 2008 R2, 2012, 2012 R2 (32 & 64 bit) – RHEL/CentOS 6.x, 7.x 6.5, 6.6, 6.7, 7.0 – SUSE 11.x 11.3 – Oracle Enterprise Linux 6.x 6.7 – Ubuntu 12.04 LTS – AIX 5.3, 6.1 – HP-UX 11i V3 – Solaris 10 – Mac OS X 10.7, 10.8, 10.9, 10.10, 10.11 – FIPS-compliant Red Hat Enterprise Linux 6.6 – クライアントとサーバーの互換性 33 Client Driver Vertica Server 6.1.x 6.1.x, 7.0.x, 7.1.x, 7.2.x, 8.0.x 7.0.x 7.0.x, 7.1.x, 7.2.x, 8.0.x 7.1.x 7.1.x, 7.2.x, 8.0.x 7.2.x 7.2.x, 8.0.x 8.0.x 8.0.x New! サポートバージョンが絞られた サポート対象外となるクライアントドライ バーのバージョンはなし
  31. 31. サポートプラットフォーム FIPSクライアントサポート アメリカ国立標準技術研究所 (NIST) が発行している標準規格に準拠したクライアント – FIPS 140-2 (暗号モジュールのためのセキュリティ要求)に準拠 – Red Hat の暗号化方式を活用 34 Vertica Cluster on Red Hat OS Vertica Client BI Dashboard FIPS 140-2 OpenSSL FIPS(連邦情報処理標準)とは? 連邦情報処理標準[1](れんぽうじょうほうしょりひょうじゅん) または連邦情報 処理規格[2](れんぽうじょうほうしょりきかく)、略称FIPS (Federal Information Processing Standard(s)) は、アメリカ国立標準技術研究所 (NIST) が発行し ている標準規格で、軍事以外全ての政府機関及び請負業者による利用を目 的として米国連邦政府が開発した公式発表の情報処理標準規格である。 出展: Wikipedia「連邦情報処理標準」 FIPS準拠を要件とするグローバルカンパニー向けの拡張 New!
  32. 32. サポートプラットフォーム v8.0.0 追加変更分 Hadoop 35 Distribution Vertica 7.2.0/7.2.1 Vertica 7.2.2 Vertica 7.2.3 Vertica 8.0.0 Cloudera (CDH) •5.2 •5.3 •5.4 •5.5 •5.3 •5.4 •5.5 •5.5 •5.6 •5.6 •5.7 HortonWorks Data Platform (HDP) •2.2 •2.3 •2.2 •2.3 •2.3 •2.4 •2.3 •2.4 MapR •3.1.1 •4.0 •3.1.1 •4.0 •3.1.1 •4.0 •4.1 •5.0 ※最新は5.8(2016/7) ※最新は2.5(2016/9) ※最新は5.2(2016/8) ※Vertica Connector for Hadoop MapReduceは7.2.3以降サポートされなくなりました ※HDFSに関する以下の問題に対し、パッチ適用を推奨します(詳細は、各Hadoopベンダーにお問い合わせください) HDFS-8855, HDFS-8696, HDFS-7280, HDFS-7279, HDFS-7270, and HDFS-7945 より最近の バージョンをサポート
  33. 33. サポートプラットフォーム v8.0.0 追加変更分 その他 – Microsoft SQL Server 2016 – SQL Server Analysis Services (SSAS) 2016 – SQL Server Integration Services (SSIS) 2016 – SQL Server Reporting Services (SSRS) 2016 – SQL Server Data Tool BI (SSDT-BI) − Microsoft Visual Studio 2015 36
  34. 34. インストール&アップグレード 37 • Machine Learning Packageがデフォルトでサーバーインストールされる
  35. 35. インストール&アップグレード Machine Learning Packageがデフォルトでサーバーインストールされる 38 専用パッケージ のインストールと 設定 – In-DB Machine Learningの機 能はデフォルト ではインストー ルされていな いため、はじめ にインストール と設定が必要 データ準備 – Verticaにデー タをロード – 必要に応じて、 使⽤データを 正規化 分析モデル の作成 – 線形回帰 – ロジスティック 回帰 分析の実行 – スコアリング – K-meansクラ スタリング 評価 – スコアリングや クラスタリング の結果を評価 v7.2.3までのIn-DB Machine Learningの流れ
  36. 36. インストール&アップグレード Machine Learning Packageがデフォルトでサーバーインストールされる 39 専用パッケージ のインストールと 設定 – In-DB Machine Learningの機 能はデフォルト ではインストー ルされていな いため、はじめ にインストール と設定が必要 データ準備 – Verticaにデー タをロード – 必要に応じて、 使⽤データを 正規化 分析モデル の作成 – 線形回帰 – ロジスティック 回帰 分析の実行 – スコアリング – K-meansクラ スタリング 評価 – スコアリングや クラスタリング の結果を評価 不要 v8.0.0
  37. 37. インストール&アップグレード Machine Learning Packageがデフォルトでサーバーインストールされる – Machin Learning Analytics 専用スキーマ 「v_ml」 は廃止 – V7.2.xからV8.0.0へアップグレードする場合は、アップグレードスクリプトの実行が必要 /opt/vertica/packages/MachineLearning/ddl/install_backward_compatibility.sql – v_mlスキーマにあった分析モデル管理システムテーブル「models」はv_catalogスキーマ内に移動する 40 …
  38. 38. クライアント接続 41 • ユーザーのコネクション制御機能を拡張
  39. 39. クライアント接続 ユーザーのコネクション制御機能を拡張 1. ユーザーごとの接続セッション最大数を設定可能に MAXCONNECTIONS 2. 接続セッションのアイドルタイムアウトを設定可能に IDLESESSIONTIMEOUT 3. 特定のユーザーによる接続セッションを停止可能に CLOSE_USER_SESSIONS 42
  40. 40. クライアント接続 ユーザーのコネクション制御機能を拡張 サンプル dbadmin=> --最大接続数:DB全体で1、アイドルタイムアウト:1分のユーザー u1 を作成 dbadmin=> CREATE USER u1 MAXCONNECTIONS 1 ON DATABASE IDLESESSIONTIMEOUT '30 seconds'; CREATE USER dbadmin=> dbadmin=> --u1の作成定義を確認(dbadminと比較) dbadmin=> SELECT user_name, max_connections, connection_limit_mode, idle_session_timeout FROM users WHERE user_name IN ('dbadmin','u1'); user_name | max_connections | connection_limit_mode | idle_session_timeout -----------+-----------------+-----------------------+---------------------- dbadmin | unlimited | database | unlimited u1 | 1 | database | 00:00:30 (2 rows) 43
  41. 41. クライアント接続 ユーザーのコネクション制御機能を拡張 サンプル dbadmin=> --現在のu1からの接続数を確認 dbadmin=> SELECT COUNT(*) FROM sessions WHERE user_name = 'u1'; COUNT ------- 1 (1 row) dbadmin=> --u1からの接続が1つある状態で、u1に接続する dbadmin=> c - u1 Password: FATAL 7470: New session rejected because connection limit of 1 on database already met for u1 Previous connection kept 44 u1は、1を超えるセッションを接続できない
  42. 42. クライアント接続 ユーザーのコネクション制御機能を拡張 サンプル dbadmin=> --u1の接続を切断 dbadmin=> SELECT CLOSE_USER_SESSIONS('u1'); CLOSE_USER_SESSIONS ----------------------------------------------------------------------------- Close all sessions for user u1 sent. Check v_monitor.sessions for progress. (1 row) dbadmin=> --再度、u1に接続する dbadmin=> c - u1 Password: You are now connected as user "u1". 45 特定ユーザーからの接続のみ、セッションを切断
  43. 43. クライアント接続 ユーザーのコネクション制御機能を拡張 サンプル u1=> --30秒経過後、クエリーを実行 u1=> SELECT 1; FATAL 7540: Session idle for more than 30000 ms. Session Timed Out! server closed the connection unexpectedly This probably means the server terminated abnormally before or while processing the request. The connection to the server was lost. Attempting reset: Succeeded. 46 u1で接続したセッションで30秒以上何もしない時間が続くと、セッションが自動切断される
  44. 44. クライアント接続 ユーザーのコネクション制御機能を拡張 サンプル dbadmin=> --dbadminの最大接続数の設定を変更する dbadmin=> ALTER USER dbadmin MAXCONNECTIONS 1 ON DATABASE; ROLLBACK 7452: Maxconnections cannot be set for a superuser dbadmin=> --dbadminのアイドルタイムアウトの設定を変更する dbadmin=> ALTER USER dbadmin IDLESESSIONTIMEOUT '30 seconds'; WARNING 7674: Idlesessiontimeout cannot be less than 15 minutes for superuser. Using 15 minutes as idlesessiontimeout ALTER USER dbadmin=> --dbadminの作成定義を確認 dbadmin=> SELECT user_name, max_connections, connection_limit_mode, idle_session_timeout FROM users WHERE user_name = 'dbadmin'; user_name | max_connections | connection_limit_mode | idle_session_timeout -----------+-----------------+-----------------------+---------------------- dbadmin | unlimited | database | 00:15 (1 row) 47 dbadmin(スーパーユーザー)は • 最大接続数の設定を変更できない • 15分以下のアイドルタイムアウトを設定できない
  45. 45. クライアント接続 ユーザーのコネクション制御機能を拡張 サンプル dbadmin=> --dbadminの接続を切断 dbadmin=> SELECT CLOSE_USER_SESSIONS('dbadmin'); CLOSE_USER_SESSIONS ------------------------------------------------------------------------------- Close all sessions for user dbadmin sent. Check v_monitor.sessions for progress. (1 row) ※別セッション dbadmin=> select 1; server closed the connection unexpectedly This probably means the server terminated abnormally before or while processing the request. The connection to the server was lost. Attempting reset: Succeeded. 48 dbadmin(スーパーユーザー)に対しても、 CLOSE_USER_SESSIONSを実行可能
  46. 46. クエリー管理 51 • Directed Queriesに分析関数やUDxを使用することが可能に
  47. 47. クエリー管理 分析関数やUdxを含むSQLに対してDirected Queriesを作成することが可能に Directed Queries とは? 1. オプティマイザが生成するクエリ実行計画の保存と適用 1. CREATE DIRECTED QUERY OPTIMIZER <オリジナルSELECTクエリ> ; 2. ACTIVATE DIRECTED QUERY ‘クエリ名’ ; 2. クエリ実行計画のカスタマイズと強制 1. SAVE QUERY <オリジナルSELECTクエリ> ; 2. CREATE DIRECTED QUERY CUSTOM ‘クエリ名’ SELECT <ヒント句付のカスタマイズSELECTクエリ> ; 3. ACTIVATE DIRECTED QUERY ‘クエリ名’ ; オプティマイザの生成実行計画の保存 CREATE DIRECTED QUERY OPTIMIZER Query Plan カスタマイズした実行計画の保存 CREATE DIRECTED QUERY CUSTOM SELECT /*+syntactic_join, verbatim*/ c.name FROM ( customer c /*+projs(customer_proj_age)*/ JOIN /*+jtype(M), Distrib(L,B)*/ purchase p /*+projs(purchase_proj_cid)*/ ON c.cid = p.cid ) JOIN /*+jtype(H), Distrib(L,R)*/ item i /*+projs(item_proj_type)*/ ON p.iid = i.iid WHERE i.type = ‘household’ AND c.age < 30 AND Month(p.date) = ‘March’; SQL + HINTS
  48. 48. クエリー管理 分析関数やUdxを含むSQLに対してDirected Queriesを作成することが可能に V7.2.3まで Vertica分析関数(OVER句を含む関数など)やUDxを 使ったSQLにはDirected Queriesが作成できなかった 例: CREATE DIRECTED QUERY OPTIMIZER ‘DQ1’ SELECT symbol, bid, RANK() OVER(PARTITION BY symbol ORDER BY bid DESC) rank FROM TickStore; ROLLBACK 7073: WINDOW clause not supported for optimizer-generated annotated queries V8.0.0 Vertica分析関数(OVER句を含む関数など)やUDxを 使ったSQLにもDirected Queriesが作成可能になった 例: CREATE DIRECTED QUERY OPTIMIZER ‘DQ1’ SELECT symbol, bid, RANK() OVER(PARTITION BY symbol ORDER BY bid DESC) rank FROM TickStore; CREATE DIRECTED QUERY --システムテーブル確認: SELECT annotated_query FROM DIRECTED_QUERIES WHERE query_name = ‘DQ1'; SELECT /*+ verbatim */ TickStore.symbol AS symbol, TickStore.bid AS bid, rank() OVER (PARTITION BY TickStore.symbol ORDER BY TickStore.bid DESC) AS rank FROM public.TickStore AS TickStore/*+projs('public.TickStore')*/
  49. 49. テーブル機能 54 • フレックステーブルのデータ型決定の精度を向上するパラメータがデフォ ルトONに
  50. 50. テーブル フレックステーブルのデータ型決定の精度を向上するパラメータがデフォルトONに – フレックステーブルのデータ型決定の精度を向上させるDBパラメーター「EnableBetterFlexTypeGuessing」のデ フォルト値がONに変更された – データ内容に応じて、文字列型だけでなく、BOOLEAN、INTEGER、FLOAT、TIMESTAMP、DATEなどのデータ 型を適用 55 compute_flextable_keys() compute_flextable_keys_an d_build_view() Flex table: users Prior users_keys age: int created: date name: varchar
  51. 51. 制約機能 56 • 制約違反エラー発生時、違反レコードの表示数を拡張
  52. 52. テーブル 制約違反エラー発生時、違反レコードの表示数を拡張 Primary Key制約やUnique Key制約を有効化したカラムに対して、制約違反となるレコードを挿入した際、 対象のキー情報の数が、最大30までエラーメッセージに表示されるようになった 例: PKEY_TESTテーブル(col1 int primary key enabled, col2 varchar)への10,000件のキー重複ロード dbadmin=> copy PKEY_TEST from ‘/home/dbadmin/PKEY_TEST.csv’ direct; ERROR 6745: Duplicate key values: 'col1=18' -- violates constraint 'public.PKEY_TEST.C_PRIMARY' DETAIL: Additional violations: Constraint 'public.PKEY_TEST.C_PRIMARY': duplicate key values: 'col1=19'; 'col1=24'; 'col1=25'; 'col1=28'; 'col1=30'; 'col1=31'; 'col1=32'; 'col1=34'; 'col1=36'; 'col1=40'; 'col1=42'; 'col1=43'; 'col1=44'; 'col1=47'; 'col1=5'; 'col1=51'; 'col1=53'; 'col1=54'; 'col1=57'; 'col1=58'; 'col1=59'; 'col1=60'; 'col1=63'; 'col1=69'; 'col1=71'; 'col1=81'; 'col1=82'; 'col1=88'; 'col1=89'; Note: there were additional errors 57 追加で表示されるようになったメッセージ
  53. 53. データロード機能 58 • テーブルレベルでロード方式のデフォルト選択が可能に • フレックステーブルに対し、INSERTの実行が可能に • Sparkとの連携
  54. 54. データロード テーブルレベルでロード方式のデフォルト選択が可能に – v7.2.3までは、DML(COPY/INSERTなど)側でダイレクトヒントをつけることにより、ロード方式を選択していた 例: CREATE TABLE LOAD_METHOD_ROS (col1 int, col2 varchar); INSERT /*+direct*/ INTO LOAD_METHOD_ROS VALUES(1,'Vertica'); – v8.0.0から、CREATE TABLE / ALTER TABLEにて、テーブルごとにデフォルトのロード方式の設定が可能になった 例: CREATE TABLE LOAD_METHOD_ROS (col1 int, col2 varchar) DIRECT; INSERT INTO LOAD_METHOD_ROS VALUES(1,'Vertica'); ※ダイレクトヒントを使用せずに、ROSへの書き込みが可能になる = 汎用的なSQLで期待の動作を実現 59
  55. 55. データロード フレックステーブルに対し、INSERTの実行が可能に 1. INSERT-VALUES INSERT INTO flex_table(…) VALUES(…); 2. INSERT-SELECT INSERT INTO flex_table(…) SELECT … FROM …; 60
  56. 56. データロード Sparkとの連携 Verticaから Spark RDDおよびdataframe へのExport Node 1 Node 2 Node 3 HPE Vertica Executor Executor Task Task Task Task Task Task RDD Dataframe WORKER NODE WORKER NODE Partition Partition Partition Partition Partition Partition Spark Dataframeから Vertica tableへのImport HPE Vertica Connector for Apache Spark
  57. 57. テキスト検索 62 • テキストインデックスがマルチバイト文字に対応
  58. 58. テキスト検索 テキストインデックスがマルチバイト文字に対応 マルチバイト文字を含むログデータなどのメッセージをテキストインデックスに登録することが可能に 例: 中国語を含むOracleのログメッセージ 842 [http-nio-8080-exec-8] (SqlExceptionHelper.java:146) ERROR - ORA-00001: 违反唯一约束条件 (WEBSTUDIO0413.UQ_USER_WORKSPACE_NAME 63
  59. 59. マネージメントコンソール 66 • Kafkaローディングの管理・監視が可能に • Kafkaクラスターにマネージメントコンソールを配置することが可能に • テーブルの使用率を確認可能に • 表示チャートの拡張
  60. 60. マネージメントコンソール Kafkaローディングの管理・監視が可能に
  61. 61. マネージメントコンソール Kafkaクラスターにマネージメントコンソールを配置することが可能に Production database - 1 Production database - 2 Kafka MC Storage DB Custom dcschema to manage the data from the stream of the 34 table topics 34 collector topics Data Collector information set - 1 Target = Consumer = MC Storage DB A single dedicated centralized database that receives the stream of messages and stores the information for use in the MC charts Source DB = Producer The database(s) that sends the stream of messages, events and statistics Data Collector information set - 2 Transport Service 34 dc tables 34 dc tables 34 real tables Management Console
  62. 62. マネージメントコンソール テーブルの使用率を確認可能に ソート・フィルター機能 行数と使用率 をビジュアル で表示 stream_
  63. 63. マネージメントコンソール 表示チャートの拡張 ■タイムフレームの拡張
  64. 64. マネージメントコンソール 表示チャートの拡張 ■画面の拡大表示
  65. 65. SQL機能とステートメント 73 • Machine Learning機能の変更 • テーブル複製コマンド「COPY_TABLE」の提供 • サンプル関数の提供
  66. 66. SQL機能とステートメント Machine Learning機能の変更 – v_mlスキーマの廃止に伴い、関数名が変更となった 例: v_ml.logisticReg  LOGISTIC_REG – 分析モデルを管理するシステムテーブルModelsの所属スキーマがv_mlからv_catalogに変更となった 74
  67. 67. SQL機能とステートメント テーブル複製コマンド「COPY_TABLE」の提供 – Create Table As Selectよりも高速なテーブル複製コマンド「COPY_TABLE」 – 物理的なコピーではなく、論理的なコピー 実行コマンド: select copy_table(from_table, to_table); 75
  68. 68. SQL機能とステートメント サンプル関数の提供 サンプル関数「TABLESAMPLE」を使用することにより、テーブルデータのN %をランダム抽出することが可能に dbadmin=> SELECT COUNT(*) FROM call_center_dimension; COUNT ------- 200 (1 row) dbadmin=> SELECT cc_closed_date FROM call_center_dimension TABLESAMPLE(1); cc_closed_date ---------------- 2003-05-15 2007-05-11 (2 rows) 76 200件のうち2件のデータをランダム抽出
  69. 69. SDKアップデート 77 • PythonでスカラーUDFが作成可能に
  70. 70. SDKアップデート PythonでスカラーUDFが作成可能に 1. Pythonスクリプトに処理を記述(Python 3.5.1ベース) 2. ライブラリ登録(CREATE LIBRARY) 3. UDF作成(CREATE FUNCTION) 4. SQLにて関数を使用可能に GitHubにサンプルあり https://github.com/vertica/UDx-Examples 78 Original Function Udx framework calls (Factory Class not shown)
  71. 71. Thank you Contact information jpn_vertica_info@hpe.com 82

×