Vertica 8.0.1 (8.0 SP1) 新機能

Vertica 8.0.1(SP1)新機能
(a.k.a. Frontloader)
2016年12月16日リリース
HPE Japan Bigdata Platform Presales

2
The Vertica brand is back !
ロゴが新しくなります

HPE Vertica 8.0.1(SP1) 新機能目次
1. サポートプラットフォームの変更
2. データ分析機能
3. リソースプール
4. マネージメントコンソール
5. バックアップ
6. セキュリティと認証
7. Hadoop
8. その他新機能
3

サポートプラットフォーム
• サポートプラットフォームの追加変更分
4

v8.0.1 追加変更分
新たなサポート対象
– OS
– RHEL & CentOS 6.8
– Debian 8.5
– Java SDK
– OpenJDK 8 (version number 1.8)
– Hadoop
– CDH 5.8
非サポート対象
– OS
– Windows 2008
次のメジャーもしくはマイナーアップデートから非サポートになる対象
– OS
– RHEL/CentOS 6.5
– AIX5.3, 5.6
– Mac OS X 10.9
– Kafka
– 0.8.x
– Hadoop
– CDH 5.6
– HDP 2.3
– MapR 4.1, 5.0
5

Vertica Server and Vertica Management Console(MC)
– サポートOS
– RHEL & CentOS : 6.5, 6.6, 6.7, 6.8, 7.0
– SUSE : 11.3
– Oracle Enterprise Linux : 6.7
– Debian : 7.6, 7.7, 8.5
– Ubuntu : 12.04 LTS, 14.04 LTS
– サポートファイルシステム
– EXT4
– サポートブラウザー（MC）
– IE 10 以降
– Firefox 31 以降
– Google Chrome 38 以降
– VerticaとMCのバージョン互換性
– Vertica 6.1以降であれば、MC 8.0.xとの互換性あり
6
• RHEL/CentOS 6.8、 Debian 8.5を新たにサポート
• RHEL/CentOS 6.5が次のメジャーもしくはマイナー
アップデートから非サポートに

Vertica Client Drivers
– ADO.NET Driver(Windows)
– 前提ソフトウェア
– .NET Framework 3.5 SP1 以降
– Windows 7, 8, 10 (32 & 64 bit)
– Windows Server 2012, 2012 R2 (64 bit)
– JDBC Driver(All platform)
– Java 5 以降
– ODBC Driver(Windows)
– 前提Driver Manager
– Microsoft ODBC MDAC 2.8
– Windows 7, 8, 10 (32 & 64 bit)
– Windows Server 2012, 2012 R2 (64 bit)
– ODBC Driver(Linux/Unix/Mac OS)
– 前提Driver Manager
– iODBC 3.52.6 以降
– unixODBC 2.3.0 以降
– DataDirect 5.3, 6.1 以降
– RHEL/CentOS 6.5, 6.6, 6.7, 6.8, 7.0
– SUSE 11.3
– Oracle Enterprise Linux 6.7
– Ubuntu 12.04 LTS, 14.04 LTS
– AIX 5.3, 6.1
– HP-UX 11i V3
– Solaris 10
– Mac OS X 10.9, 10.10, 10.11
– FIPS-compliant Red Hat Enterprise Linux 6.6
7
• Windows 2008系は非サポート
• RHEL/CentOS 6.5、AIX5.3, 5.6およびMac OS X 10.9が次のメ
ジャーもしくはマイナーアップデートから非サポートに

Vertica Client Drivers（つづき）
– vsql Client
– Windows 7, 8.x, 10 (32 & 64 bit)
– Windows Server 2012, 2012 R2 (32 & 64 bit)
– RHEL/CentOS 6.5, 6.6, 6.7, 6.8, 7.0
– SUSE 11.3
– Oracle Enterprise Linux 6.7
– Ubuntu 12.04 LTS
– AIX 5.3, 6.1
– HP-UX 11i V3
– Solaris 10
– Mac OS X 10.9, 10.10, 10.11
– FIPS-compliant Red Hat Enterprise Linux 6.6
– Python Driver
– RHEL & CentOS : 6.5, 6.6, 6.7, 6.8, 7.0
– SUSE : 11.3
– Oracle Enterprise Linux : 6.7
– Debian : 7.6, 7.7, 8.5
– Ubuntu : 12.04 LTS, 14.04 LTS
– クライアントとサーバーの互換性
8
Client Driver Vertica Server
6.1.x 6.1.x, 7.0.x, 7.1.x, 7.2.x, 8.0.x
7.0.x 7.0.x, 7.1.x, 7.2.x, 8.0.x
7.1.x 7.1.x, 7.2.x, 8.0.x
7.2.x 7.2.x, 8.0.x
8.0.x 8.0.x
• Windows 2008系は非サポート
• RHEL/CentOS 6.5、AIX5.3, 5.6およびMac OS X 10.9が次のメ
ジャーもしくはマイナーアップデートから非サポートに

Vertica SDKs (UDx)
– C++ SDK
– No spatial requirements
– Java SDK
– Oracle Java Platform Standard Edition 6 (version number 1.6)
– Oracle Java Platform Standard Edition 7 (version number 1.7)
– R Language Pack
– R 3.0.0
Kafka
– Kafka versions
– Java versions
– Java 7.0 or later
9
Apache Kafka
Versions
Vertica Versions
0.8.x * 7.2 - 8.0.0
0.9.0 7.2 SP2 and later
• Kafka 0.8.x が次のメジャーもしくはマイナーアップデートから非サポートに
• SDKでOpen JDK 8をサポート

Hadoop
10
Distribution Vertica 7.2.2 Vertica 7.2.3 Vertica 8.0.0 Vertica 8.0.1
Cloudera (CDH) •5.3
•5.4
•5.5
•5.5
•5.6
•5.6
•5.7
•5.6
•5.7
•5.8
HortonWorks Data
Platform (HDP)
•2.2
•2.3
•2.3
•2.4
•2.3
•2.4
•2.3
•2.4
MapR •3.1.1
•4.0
•3.1.1
•4.0
•4.1
•5.0
•4.1
•5.0
※最新は
5.9(2016/12)
※最新は
2.5(2016/9)
※最新は
5.2(2016/8)
※Vertica Connector for Hadoop MapReduceは7.2.3以降サポートされなくなりました
※HDFSに関する以下の問題に対し、パッチ適用を推奨します（詳細は、各Hadoopベンダーにお問い合わせください）
HDFS-8855, HDFS-8696, HDFS-7280, HDFS-7279, HDFS-7270, and HDFS-7945
• CDH5.6, HDP2.3 およびMapR4.1, 5.0が次のメジャーもしくはマイ
ナーアップデートから非サポートに
• CDH5.8を新たにサポート

データ分析機能
13
• ナイーブベイズアルゴリズムへの対応
• 外れ値（異常値）を検出する関数の追加

In-DB Machine Learning 8.0.1
ナイーブベイズアルゴリズムへの対応／異常値を検出する関数の追加
14
アルゴリズムモデル訓練予測評価
線形回帰
ロジスティック回帰
K-means
ナイーブベイズ分類器
モデル管理
モデル情報の確認モデル名の変更モデルの削除
データ準備
正規化データバラン
シング
サンプリング外れ値（異常
値）検出
K-means++
アルゴリズム
に対応

ナイーブベイズ分類器とは？
– ナイーブベイズ分類器は、データを複数のクラスに分類するための簡単で高速なツール
– 教師あり学習。モデルを学習するためのラベル付データが必要
– 予測因子は独立している（例：収入と性別は、顧客が商品を購入する確率に個別に影響する）
15
以下の2人の顧客がProduct Xを買うかどうかを予測
customerId |income |gender|will_buy_X
-----------+-------+------+-------------
9 | HIGH | M | ?
10 | HIGH | F | ?
例: 教師データ
customerId |income |gender| purchase
-----------+-------+------+------------
1 | HIGH | M | True
2 | HIGH | M | False
3 | LOW | M | True
4 | LOW | M | True
5 | HIGH | F | True
6 | HIGH | F | False
7 | LOW | F | False
8 | LOW | F | True
予測因子:
FLOAT, BOOL, CHAR or INT
分類:
CHAR or INT
分類の一種：
この顧客は商品を購入してくれるかどうか？

Verticaにおける外れ値（異常値）検出
– 外れ値（異常値）検出は、どの値が外れ値（異常値）であるかを決定する、予め設定された閾値を用いて正規化さ
れたデータに適用される
– 外れ値（異常値）は、アウトプットビューに格納される
– SELECT detect_outliers(‘output_view’, ‘input_table’,
‘input_columns’, ‘outlier_method’
[, ’--exclude_columns= “col1,col2,…,coln”],
[--key_columns= “col1,col2,…,coln”],
[--outlier_threshold = ]’);
16
threshold
外れ値外れ値
threshold
学習データ準備時に、”外れ値（異常値）”を検出

リソースプール
17
• 2つの新規ビルトインリソースプール

2つの新規ビルトインリソースプール
1. In-DB Machine Learning処理用リソースプール：BLOBDATA
2. カタログ管理用リソースプール：METADATA
18
In-DB Machine Learningの性能向上
リソースプール外で管理していたカタログ用
メモリーをリソースプール内にて管理

BLOBDATAリソースプール
– 課題：
– 機械学習アルゴリズムは、一般に、実行中に大量の計算を必要とし、同じデータに複数回アクセスするが必要あり、反復ごとにディスクから
データを読み込むと、計算が比較的遅くなってしまう
– ソリューション：
– アルゴリズムの実行開始時に、後続のクエリでより速くアクセスできるようにテーブルをメモリにキャッシュする
– ユーザがMachine Learningアルゴリズムに使用されるメモリ量を制御できるように、 BLOBDATAリソースプールを活用
– テーブルが大きすぎてメモリに収まらない場合は、ディスクにデータが流出するため、メモリーサイズを調整することが可能
– 各ノードのスレッド数を直接制御して並列処理を最大化することも可能
– メリット：
– Apache Sparkよりも高速に実行*
1
10
100
1000
10000
1 10 100 1000
Runtime(second)
Rows (million)
KMeans (K=5; Col=100)
1
10
100
1000
10 100 1000 10000
Runtime(second)
Columns
Kmeans (K=5; Row=10Million)
*結果は、管理された環境におけるVerticaの内部テストを反映しています。
実際のパフォーマンスは、アプリケーション、インストール環境、データセット、およびその他の要因によって異なる場合があります

METADATAリソースプール
– 新規リソースプールMETADATAでメタデータ管理のためのメモリー使用率を追跡できる
select pool_id, name, is_internal, memorysize
from resource_pools where name = 'metadata';
pool_id | name | is_internal | memorysize
-------------------+----------+-------------+------------
45035996273705096 | metadata | t | 0%
(1 row)
– 内部の読み込み専用のリソースプール
– このリソースプールを使ってクエリーを実行することは不可。MAXCONCURRENCY=0
– Verticaのメタデータサイズの増加に伴い、自動的にリソースプールのメモリーを拡張
– Timer service MetadataPoolMonitor が2秒間隔でメモリーを割り当てる
– METADATAリソースプールのMEMORYSIZE はGeneralリソースプールのMEMORYSIZEから借用（デフォルト）
20

METADATAリソースプール
＜留意点＞
–8.0SP1以降へアップグレードされる場合で、以前のバージョンで、カタログ用のプー
ルを作っている、もしくは、General poolメモリを95％より引き下げている場合、元に
戻す必要がある
–Generalプールのmemorysizeが実質減ってしまうことによる性能劣化は考えうる。
（クエリー多重実行時にあるクエリーのJoinがSpillする、あるいは、COPYコマンドで
使われるスレッド数が減るなど）
–パフォーマンスの低下有無を確認したい場合、EnableMetadataMemoryTrackingパ
ラメーターをDisableすることで8.0.0までの状態に戻ることが可能
21

マネージメントコンソール
22
• ユーザーセッションページの新しいインターフェース
• クエリーフィルター
• ライセンス使用状況の監視
• データベースデザイナー機能の拡張
• ブラウザーログイン時のユーザー自動入力を無効化
• MC Amazon Machine Image

ユーザーセッションページの新しいインターフェース
23
スイムレーンは、ユーザー毎
のセッションの並行性を示す
現在開いているセッションと実
行中のクエリは、点線で表示
ユーザーはクエリまたはセッ
ションの詳細を表示可能

24
コンテキストマップでは、接続ユー
ザーが多い時間帯の領域を確認
可能
チャートを移動することも可能

25
ユーザーや期間ごとの
フィルター表示も可能

26
ユーザー毎のオープンセッショ
ン
セッションパラメーターの確認
セッションに対するアクションを
選択
データの並び替えや選択など
が可能

27
Configure Max Sessions

28
Close Sessions / Cancel Queries

29
Full Session Details
任意のセッションをクリックして
ポップアップを表示し、セッション
の詳細を表示可能

クエリーフィルター
30
ウェブページのクラッシュを
引き起こすことがあった
～8.0 SP1：

31
8.0 SP1：
結果セット取得行数を10,000行に制限

32
～8.0 SP1：
特定の条件のクエリーのみを表示することができなかった
例）
• Joeが発行したクエリー
• 1時間以上かかったクエリー
• 特定のラベル名のクエリー

33
8.0 SP1：
Pre Query Filterを使用可能

ライセンス使用状況の監視
34
Threshold画面から、ライセンス使用量の設定が可能に

35
Database Overview Page

36
Message Center Drop Down

37
Message Center

38
E-mail Alert

データベースデザイナー機能の拡張
– データベースデザイナー入力用クエリーの与え方に選択肢ができた
– Most recent
– Most frequently executed
– Longest running
39

40

41

42

ブラウザーログイン時のユーザー自動入力を無効化
43
過去のユーザーログイン情報が残る
～8.0 SP1：

44
8.0 SP1：Disable Autocomplete on MC from: MC Settings > Configuration > Browser autocomplete at login
Turn ‘OFF’ and
hit ‘Apply’ to save settings

45
8.0 SP1：
ログイン時にユーザー情報が出力されない

MC Amazon Machine Image
– Vertica MC AMI はRedHat 7 と CentOS 7でリリースされる予定
– 新たなVertica 3ノードクラスター + MCを含んだCloudFormationテンプレートもリリース予定
46

バックアップ
47
• vbr実行前に、Epochと容量の閾値チェックが可能に

バックアップ
vbr実行前に、Epochと容量の閾値チェックが可能に
48

セキュリティと認証
49
• 新規SSLモードオプションが追加

セキュリティと認証
新規SSLモードオプションが追加
50
～8.0SP1:
※“require”モードでは、CAファイルの存在をチェックすることは強制されないので、MITM保護を保証するものではなかった
8.0 SP1～: 上記にくわえ、下記のSSLモードオプションが追加（vsqlまたはODBCで有効）
sslmode 傍受からの保護 MITMからの保護内容
disable No No セキュリティレベル：低（通信暗号化なし）
Allow Maybe No セキュリティレベル：中（非SSLでサーバー接続に失敗した場合、SSL接続）
prefer Maybe No セキュリティレベル：中（SSLでサーバー接続に失敗した場合、非SSL接続）
require Yes No セキュリティレベル：強（通信暗号化あり）
sslmode 傍受からの保護 MITMからの保護内容
verify-ca Yes
Depends on
CA-policy
SSL接続前に、CAファイルの存在をチェックする
verify-full Yes Yes SSL接続前に、CAファイルの存在をチェックする。あらかじめ指定したホストのみの接続を許容する
“require”モードの強化
MITM（man-in-the-middle attack）への対応

Hadoop
51
• HDFSファイルの直接指定の記述が可能に
• 複数のHDFSクラスターに対応
• ORC & Parquet リーダーでパーティションプルーニングを活用可能に

Hadoop
HDFSファイルの直接指定の記述が可能に／複数のHDFSクラスターに対応
52
– HDFSファイルの直接指定の記述が可能に
– 複数のHDFSクラスターに対応

Hadoop
ORC & Parquet リーダーでパーティションプルーニングを活用可能に
– 課題：
ORCおよびParquetリーダーを使って外部表を構成する際にパーティションを指定できなかった
– ソリューション：
Hiveスタイルのパーティションプルーニング機能を構文で指定可能になった
– メリット：
パフォーマンスの向上
53
create external table t_orc
(a int, b int, c varchar(50), d date, e timestamptz, f float, g numeric(5,2))
as COPY from 'hdfs:///data/t_orc/*/*/*/*/*/*/*'
ORC(hive_partition_cols='b,c,d,e,f,g');
create external table t_parquet
(a int, b int, c varchar(50), d date, e timestamptz, f float, g numeric(5,2))
as COPY from 'hdfs:///data/t_parquet/*/*/*/*/*/*/*'
PARQUET(hive_partition_cols='b,c,d,e,f,g');

その他の新機能
1. ANALYZE_STATISTICSで複数カラムの組み合わせを指定することが可能になった
2. ヒント句にて、GROUP BY HASH / GROUP BY PIPELINEDを明示的に指定することが可能になった
3. 新規関数BOOL_AND, BOOL_OR, BOOL_XOR
4. CREATE TABLE ASとUNIONにLABELヒントが付与可能になった
5. MIN, MAX関数にBoolean型のデータを指定可能になった
6. 数値を0で割ったときの挙動の変更（以前は0を返していたが、エラーとなるように変更）
7. フレックステーブルでJSONのネスト構造を取り扱う際に、maplookop()関数をネストする書き方ではなく、
bracket operators ([ ])を使ったユーザーライクな記述が可能になった
8. Geospatialのデータ型GEOMETRY/GEOGRAPHYのデータを他クラスターにEXPORTできるようになった
9. Geospatialの空間インデックス作成のパフォーマンス向上
10.VerticaからKafkaへメッセージプッシュ送信が可能になった（NOTIFIER機能）
55

Vertica 8.0.1 (8.0 SP1) 新機能

More Related Content

Similar to Vertica 8.0.1 (8.0 SP1) 新機能

Vertica 8.0.1 (8.0 SP1) 新機能