Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Vertica 8.0.1 (8.0 SP1) 新機能

7 views

Published on

Vertica 8.0.1 (8.0 SP1) 新機能

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Vertica 8.0.1 (8.0 SP1) 新機能

  1. 1. Vertica 8.0.1(SP1)新機能 (a.k.a. Frontloader) 2016年12月16日リリース HPE Japan Bigdata Platform Presales
  2. 2. 2 The Vertica brand is back ! ロゴが新しくなります
  3. 3. HPE Vertica 8.0.1(SP1) 新機能 目次 1. サポートプラットフォームの変更 2. データ分析機能 3. リソースプール 4. マネージメントコンソール 5. バックアップ 6. セキュリティと認証 7. Hadoop 8. その他新機能 3
  4. 4. サポートプラットフォーム • サポートプラットフォームの追加変更分 4
  5. 5. サポートプラットフォーム v8.0.1 追加変更分 新たなサポート対象 – OS – RHEL & CentOS 6.8 – Debian 8.5 – Java SDK – OpenJDK 8 (version number 1.8) – Hadoop – CDH 5.8 非サポート対象 – OS – Windows 2008 次のメジャーもしくはマイナーアップデートから非サポートになる対象 – OS – RHEL/CentOS 6.5 – AIX5.3, 5.6 – Mac OS X 10.9 – Kafka – 0.8.x – Hadoop – CDH 5.6 – HDP 2.3 – MapR 4.1, 5.0 5
  6. 6. サポートプラットフォーム v8.0.1 追加変更分 Vertica Server and Vertica Management Console(MC) – サポートOS – RHEL & CentOS : 6.5, 6.6, 6.7, 6.8, 7.0 – SUSE : 11.3 – Oracle Enterprise Linux : 6.7 – Debian : 7.6, 7.7, 8.5 – Ubuntu : 12.04 LTS, 14.04 LTS – サポートファイルシステム – EXT4 – サポートブラウザー(MC) – IE 10 以降 – Firefox 31 以降 – Google Chrome 38 以降 – VerticaとMCのバージョン互換性 – Vertica 6.1以降であれば、MC 8.0.xとの互換性あり 6 • RHEL/CentOS 6.8、 Debian 8.5を新たにサポート • RHEL/CentOS 6.5が次のメジャーもしくはマイナー アップデートから非サポートに
  7. 7. サポートプラットフォーム v8.0.1 追加変更分 Vertica Client Drivers – ADO.NET Driver(Windows) – 前提ソフトウェア – .NET Framework 3.5 SP1 以降 – Windows 7, 8, 10 (32 & 64 bit) – Windows Server 2012, 2012 R2 (64 bit) – JDBC Driver(All platform) – Java 5 以降 – ODBC Driver(Windows) – 前提Driver Manager – Microsoft ODBC MDAC 2.8 – Windows 7, 8, 10 (32 & 64 bit) – Windows Server 2012, 2012 R2 (64 bit) – ODBC Driver(Linux/Unix/Mac OS) – 前提Driver Manager – iODBC 3.52.6 以降 – unixODBC 2.3.0 以降 – DataDirect 5.3, 6.1 以降 – RHEL/CentOS 6.5, 6.6, 6.7, 6.8, 7.0 – SUSE 11.3 – Oracle Enterprise Linux 6.7 – Ubuntu 12.04 LTS, 14.04 LTS – AIX 5.3, 6.1 – HP-UX 11i V3 – Solaris 10 – Mac OS X 10.9, 10.10, 10.11 – FIPS-compliant Red Hat Enterprise Linux 6.6 7 • Windows 2008系は非サポート • RHEL/CentOS 6.5、AIX5.3, 5.6およびMac OS X 10.9が次のメ ジャーもしくはマイナーアップデートから非サポートに • RHEL/CentOS 6.8、 Debian 8.5を新たにサポート
  8. 8. サポートプラットフォーム v8.0.1 追加変更分 Vertica Client Drivers(つづき) – vsql Client – Windows 7, 8.x, 10 (32 & 64 bit) – Windows Server 2012, 2012 R2 (32 & 64 bit) – RHEL/CentOS 6.5, 6.6, 6.7, 6.8, 7.0 – SUSE 11.3 – Oracle Enterprise Linux 6.7 – Ubuntu 12.04 LTS – AIX 5.3, 6.1 – HP-UX 11i V3 – Solaris 10 – Mac OS X 10.9, 10.10, 10.11 – FIPS-compliant Red Hat Enterprise Linux 6.6 – Python Driver – RHEL & CentOS : 6.5, 6.6, 6.7, 6.8, 7.0 – SUSE : 11.3 – Oracle Enterprise Linux : 6.7 – Debian : 7.6, 7.7, 8.5 – Ubuntu : 12.04 LTS, 14.04 LTS – クライアントとサーバーの互換性 8 Client Driver Vertica Server 6.1.x 6.1.x, 7.0.x, 7.1.x, 7.2.x, 8.0.x 7.0.x 7.0.x, 7.1.x, 7.2.x, 8.0.x 7.1.x 7.1.x, 7.2.x, 8.0.x 7.2.x 7.2.x, 8.0.x 8.0.x 8.0.x • Windows 2008系は非サポート • RHEL/CentOS 6.5、AIX5.3, 5.6およびMac OS X 10.9が次のメ ジャーもしくはマイナーアップデートから非サポートに • RHEL/CentOS 6.8、 Debian 8.5を新たにサポート
  9. 9. サポートプラットフォーム v8.0.1 追加変更分 Vertica SDKs (UDx) – C++ SDK – No spatial requirements – Java SDK – Oracle Java Platform Standard Edition 6 (version number 1.6) – Oracle Java Platform Standard Edition 7 (version number 1.7) – OpenJDK 6 (version number 1.6) – OpenJDK 7 (version number 1.7) – OpenJDK 8 (version number 1.8) – R Language Pack – R 3.0.0 Kafka – Kafka versions – Java versions – Java 7.0 or later 9 Apache Kafka Versions Vertica Versions 0.8.x * 7.2 - 8.0.0 0.9.0 7.2 SP2 and later • Kafka 0.8.x が次のメジャーもしくはマイナーアップデートから非サポートに • SDKでOpen JDK 8をサポート
  10. 10. サポートプラットフォーム v8.0.1 追加変更分 Hadoop 10 Distribution Vertica 7.2.2 Vertica 7.2.3 Vertica 8.0.0 Vertica 8.0.1 Cloudera (CDH) •5.3 •5.4 •5.5 •5.5 •5.6 •5.6 •5.7 •5.6 •5.7 •5.8 HortonWorks Data Platform (HDP) •2.2 •2.3 •2.3 •2.4 •2.3 •2.4 •2.3 •2.4 MapR •3.1.1 •4.0 •3.1.1 •4.0 •4.1 •5.0 •4.1 •5.0 ※最新は 5.9(2016/12) ※最新は 2.5(2016/9) ※最新は 5.2(2016/8) ※Vertica Connector for Hadoop MapReduceは7.2.3以降サポートされなくなりました ※HDFSに関する以下の問題に対し、パッチ適用を推奨します(詳細は、各Hadoopベンダーにお問い合わせください) HDFS-8855, HDFS-8696, HDFS-7280, HDFS-7279, HDFS-7270, and HDFS-7945 • CDH5.6, HDP2.3 およびMapR4.1, 5.0が次のメジャーもしくはマイ ナーアップデートから非サポートに • CDH5.8を新たにサポート
  11. 11. データ分析機能 13 • ナイーブベイズアルゴリズムへの対応 • 外れ値(異常値)を検出する関数の追加
  12. 12. In-DB Machine Learning 8.0.1 ナイーブベイズアルゴリズムへの対応/異常値を検出する関数の追加 14 アルゴリズム モデル訓練 予測 評価 線形回帰 ロジスティック回帰 K-means ナイーブベイズ分類器 モデル管理 モデル情報の確認 モデル名の変更 モデルの削除 データ準備 正規化 データバラン シング サンプリング 外れ値(異常 値)検出 K-means++ アルゴリズム に対応
  13. 13. ナイーブベイズ分類器とは? – ナイーブベイズ分類器は、データを複数のクラスに分類するための簡単で高速なツール – 教師あり学習。モデルを学習するためのラベル付データが必要 – 予測因子は独立している(例:収入と性別は、顧客が商品を購入する確率に個別に影響する) 15 以下の2人の顧客がProduct Xを買うかどうかを予測 customerId |income |gender|will_buy_X -----------+-------+------+------------- 9 | HIGH | M | ? 10 | HIGH | F | ? 例: 教師データ customerId |income |gender| purchase -----------+-------+------+------------ 1 | HIGH | M | True 2 | HIGH | M | False 3 | LOW | M | True 4 | LOW | M | True 5 | HIGH | F | True 6 | HIGH | F | False 7 | LOW | F | False 8 | LOW | F | True 予測因子: FLOAT, BOOL, CHAR or INT 分類: CHAR or INT 分類の一種: この顧客は商品を購入してくれるかどうか?
  14. 14. Verticaにおける外れ値(異常値)検出 – 外れ値(異常値)検出は、どの値が外れ値(異常値)であるかを決定する、予め設定された閾値を用いて正規化さ れたデータに適用される – 外れ値(異常値)は、アウトプットビューに格納される – SELECT detect_outliers(‘output_view’, ‘input_table’, ‘input_columns’, ‘outlier_method’ [, ’--exclude_columns= “col1,col2,…,coln”], [--key_columns= “col1,col2,…,coln”], [--outlier_threshold = ]’); 16 threshold 外れ値外れ値 threshold 学習データ準備時に、”外れ値(異常値)”を検出
  15. 15. リソースプール 17 • 2つの新規ビルトインリソースプール
  16. 16. リソースプール 2つの新規ビルトインリソースプール 1. In-DB Machine Learning処理用リソースプール:BLOBDATA 2. カタログ管理用リソースプール:METADATA 18 In-DB Machine Learningの性能向上 リソースプール外で管理していたカタログ用 メモリーをリソースプール内にて管理
  17. 17. リソースプール BLOBDATAリソースプール – 課題: – 機械学習アルゴリズムは、一般に、実行中に大量の計算を必要とし、同じデータに複数回アクセスするが必要あり、反復ごとにディスクから データを読み込むと、計算が比較的遅くなってしまう – ソリューション: – アルゴリズムの実行開始時に、後続のクエリでより速くアクセスできるようにテーブルをメモリにキャッシュする – ユーザがMachine Learningアルゴリズムに使用されるメモリ量を制御できるように、 BLOBDATAリソースプールを活用 – テーブルが大きすぎてメモリに収まらない場合は、ディスクにデータが流出するため、メモリーサイズを調整することが可能 – 各ノードのスレッド数を直接制御して並列処理を最大化することも可能 – メリット: – Apache Sparkよりも高速に実行* 1 10 100 1000 10000 1 10 100 1000 Runtime(second) Rows (million) KMeans (K=5; Col=100) 1 10 100 1000 10 100 1000 10000 Runtime(second) Columns Kmeans (K=5; Row=10Million) *結果は、管理された環境におけるVerticaの内部テストを反映しています。 実際のパフォーマンスは、アプリケーション、インストール環境、データセット、およびその他の要因によって異なる場合があります
  18. 18. リソースプール METADATAリソースプール – 新規リソースプールMETADATAでメタデータ管理のためのメモリー使用率を追跡できる select pool_id, name, is_internal, memorysize from resource_pools where name = 'metadata'; pool_id | name | is_internal | memorysize -------------------+----------+-------------+------------ 45035996273705096 | metadata | t | 0% (1 row) – 内部の読み込み専用のリソースプール – このリソースプールを使ってクエリーを実行することは不可。MAXCONCURRENCY=0 – Verticaのメタデータサイズの増加に伴い、自動的にリソースプールのメモリーを拡張 – Timer service MetadataPoolMonitor が2秒間隔でメモリーを割り当てる – METADATAリソースプールのMEMORYSIZE はGeneralリソースプールのMEMORYSIZEから借用(デフォルト) 20
  19. 19. リソースプール METADATAリソースプール <留意点> –8.0SP1以降へアップグレードされる場合で、以前のバージョンで、カタログ用のプー ルを作っている、もしくは、General poolメモリを95%より引き下げている場合、元に 戻す必要がある –Generalプールのmemorysizeが実質減ってしまうことによる性能劣化は考えうる。 (クエリー多重実行時にあるクエリーのJoinがSpillする、あるいは、COPYコマンドで 使われるスレッド数が減るなど) –パフォーマンスの低下有無を確認したい場合、EnableMetadataMemoryTrackingパ ラメーターをDisableすることで8.0.0までの状態に戻ることが可能 21
  20. 20. マネージメントコンソール 22 • ユーザーセッションページの新しいインターフェース • クエリーフィルター • ライセンス使用状況の監視 • データベースデザイナー機能の拡張 • ブラウザーログイン時のユーザー自動入力を無効化 • MC Amazon Machine Image
  21. 21. マネージメントコンソール ユーザーセッションページの新しいインターフェース 23 スイムレーンは、ユーザー毎 のセッションの並行性を示す 現在開いているセッションと実 行中のクエリは、点線で表示 ユーザーはクエリまたはセッ ションの詳細を表示可能
  22. 22. マネージメントコンソール ユーザーセッションページの新しいインターフェース 24 コンテキストマップでは、接続ユー ザーが多い時間帯の領域を確認 可能 チャートを移動することも可能
  23. 23. マネージメントコンソール ユーザーセッションページの新しいインターフェース 25 ユーザーや期間ごとの フィルター表示も可能
  24. 24. マネージメントコンソール ユーザーセッションページの新しいインターフェース 26 ユーザー毎のオープンセッショ ン セッションパラメーターの確認 セッションに対するアクションを 選択 データの並び替えや選択など が可能
  25. 25. マネージメントコンソール ユーザーセッションページの新しいインターフェース 27 Configure Max Sessions
  26. 26. マネージメントコンソール ユーザーセッションページの新しいインターフェース 28 Close Sessions / Cancel Queries
  27. 27. マネージメントコンソール ユーザーセッションページの新しいインターフェース 29 Full Session Details 任意のセッションをクリックして ポップアップを表示し、セッション の詳細を表示可能
  28. 28. マネージメントコンソール クエリーフィルター 30 ウェブページのクラッシュを 引き起こすことがあった ~8.0 SP1:
  29. 29. マネージメントコンソール クエリーフィルター 31 8.0 SP1: 結果セット取得行数を10,000行に制限
  30. 30. マネージメントコンソール クエリーフィルター 32 ~8.0 SP1: 特定の条件のクエリーのみを表示することができなかった 例) • Joeが発行したクエリー • 1時間以上かかったクエリー • 特定のラベル名のクエリー
  31. 31. マネージメントコンソール クエリーフィルター 33 8.0 SP1: Pre Query Filterを使用可能
  32. 32. マネージメントコンソール ライセンス使用状況の監視 34 Threshold画面から、ライセンス使用量の設定が可能に
  33. 33. マネージメントコンソール ライセンス使用状況の監視 35 Database Overview Page
  34. 34. マネージメントコンソール ライセンス使用状況の監視 36 Message Center Drop Down
  35. 35. マネージメントコンソール ライセンス使用状況の監視 37 Message Center
  36. 36. マネージメントコンソール ライセンス使用状況の監視 38 E-mail Alert
  37. 37. マネージメントコンソール データベースデザイナー機能の拡張 – データベースデザイナー入力用クエリーの与え方に選択肢ができた – Most recent – Most frequently executed – Longest running 39
  38. 38. マネージメントコンソール データベースデザイナー機能の拡張 40
  39. 39. マネージメントコンソール データベースデザイナー機能の拡張 41
  40. 40. マネージメントコンソール データベースデザイナー機能の拡張 42
  41. 41. マネージメントコンソール ブラウザーログイン時のユーザー自動入力を無効化 43 過去のユーザーログイン情報が残る ~8.0 SP1:
  42. 42. マネージメントコンソール ブラウザーログイン時のユーザー自動入力を無効化 44 8.0 SP1:Disable Autocomplete on MC from: MC Settings > Configuration > Browser autocomplete at login Turn ‘OFF’ and hit ‘Apply’ to save settings
  43. 43. マネージメントコンソール ブラウザーログイン時のユーザー自動入力を無効化 45 8.0 SP1: ログイン時にユーザー情報が出力されない
  44. 44. マネージメントコンソール MC Amazon Machine Image – Vertica MC AMI はRedHat 7 と CentOS 7でリリースされる予定 – 新たなVertica 3ノードクラスター + MCを含んだCloudFormationテンプレートもリリース予定 46
  45. 45. バックアップ 47 • vbr実行前に、Epochと容量の閾値チェックが可能に
  46. 46. バックアップ vbr実行前に、Epochと容量の閾値チェックが可能に 48
  47. 47. セキュリティと認証 49 • 新規SSLモードオプションが追加
  48. 48. セキュリティと認証 新規SSLモードオプションが追加 50 ~8.0SP1: ※“require”モードでは、CAファイルの存在をチェックすることは強制されないので、MITM保護を保証するものではなかった 8.0 SP1~: 上記にくわえ、下記のSSLモードオプションが追加(vsqlまたはODBCで有効) sslmode 傍受からの保護 MITMからの保護 内容 disable No No セキュリティレベル:低(通信暗号化なし) Allow Maybe No セキュリティレベル:中(非SSLでサーバー接続に失敗した場合、SSL接続) prefer Maybe No セキュリティレベル:中(SSLでサーバー接続に失敗した場合、非SSL接続) require Yes No セキュリティレベル:強(通信暗号化あり) sslmode 傍受からの保護 MITMからの保護 内容 verify-ca Yes Depends on CA-policy SSL接続前に、CAファイルの存在をチェックする verify-full Yes Yes SSL接続前に、CAファイルの存在をチェックする。あらかじめ指定したホストのみの接続を許容する “require”モードの強化 MITM(man-in-the-middle attack)への対応
  49. 49. Hadoop 51 • HDFSファイルの直接指定の記述が可能に • 複数のHDFSクラスターに対応 • ORC & Parquet リーダーでパーティションプルーニングを活用可能に
  50. 50. Hadoop HDFSファイルの直接指定の記述が可能に/複数のHDFSクラスターに対応 52 – HDFSファイルの直接指定の記述が可能に – 複数のHDFSクラスターに対応
  51. 51. Hadoop ORC & Parquet リーダーでパーティションプルーニングを活用可能に – 課題: ORCおよびParquetリーダーを使って外部表を構成する際にパーティションを指定できなかった – ソリューション: Hiveスタイルのパーティションプルーニング機能を構文で指定可能になった – メリット: パフォーマンスの向上 53 create external table t_orc (a int, b int, c varchar(50), d date, e timestamptz, f float, g numeric(5,2)) as COPY from 'hdfs:///data/t_orc/*/*/*/*/*/*/*' ORC(hive_partition_cols='b,c,d,e,f,g'); create external table t_parquet (a int, b int, c varchar(50), d date, e timestamptz, f float, g numeric(5,2)) as COPY from 'hdfs:///data/t_parquet/*/*/*/*/*/*/*' PARQUET(hive_partition_cols='b,c,d,e,f,g');
  52. 52. その他の新機能 54
  53. 53. その他の新機能 1. ANALYZE_STATISTICSで複数カラムの組み合わせを指定することが可能になった 2. ヒント句にて、GROUP BY HASH / GROUP BY PIPELINEDを明示的に指定することが可能になった 3. 新規関数BOOL_AND, BOOL_OR, BOOL_XOR 4. CREATE TABLE ASとUNIONにLABELヒントが付与可能になった 5. MIN, MAX関数にBoolean型のデータを指定可能になった 6. 数値を0で割ったときの挙動の変更(以前は0を返していたが、エラーとなるように変更) 7. フレックステーブルでJSONのネスト構造を取り扱う際に、maplookop()関数をネストする書き方ではなく、 bracket operators ([ ])を使ったユーザーライクな記述が可能になった 8. Geospatialのデータ型GEOMETRY/GEOGRAPHYのデータを他クラスターにEXPORTできるようになった 9. Geospatialの空間インデックス作成のパフォーマンス向上 10.VerticaからKafkaへメッセージプッシュ送信が可能になった(NOTIFIER機能) 55
  54. 54. Thank you 56

×