03 kueripahuomansuchiyuninguno shou_fa_

クエリパフォーマンス
チューニングの手法
HPE Vertica Advanced Performance Tuning
April 27, 2016

本章の概要
– クエリの解析方法の概要
– クエリのプロファイル
– 実行計画
– 統計情報
– カウンター
– イベントタイプ
– 追加のシステムテーブル

クエリ解析方法の概要
3

クエリの解析方法
4
クエリの
プロファイル
• トランザクションID
• ステートメントID
• リソース使用率
実行計画
• プロジェクション
• パスID
• データの再配布
統計情報
カウンター
• 実行時間
• ファイルのハンドル数、
生成された行、等
• 統計情報が無い、
もしくは、古いこと
をトリガ
イベントタイプ追加の
テーブル
• ユーザー情報
• クエリの実行時間
• チューニングの推奨
事項
• 統計情報がない
• Join や Group By
のスピル

システムテーブル
– 標準システムテーブルは、データベース内の様々な特徴と機能を監視
SELECT table_name, table_description FROM
system_tables ORDER BY table_name;
– 追加のデータコレクターテーブルは、データベースの構成要素の様々な特徴を監視
SELECT table_name, component, description FROM
data_collector ORDER BY table_name;
– ユーザーは、システムテーブルと内容に対する SELECT 権限を持つ必要あり
– dbadmin 権限の一部
5

データ保持ポリシーの確認
– 関数 GET_DATA_COLLECTOR_POLICY() を使って、設定を確認
SELECT GET_DATA_COLLECTOR_POLICY('QueryExecutions');
GET_DATA_COLLECTOR_POLICY
----------------------------------------------
1000KB kept in memory, 20000KB kept on disk.
(1 row)
6

データ保持ポリシーの変更
– 関数 SET_DATA_COLLECTOR_POLICY() を使って、全ノード上のコンポーネントの保持ポリシーを設定
SELECT SET_DATA_COLLECTOR_POLICY('QueryExecutions', 2000, 40000);
SET_DATA_COLLECTOR_POLICY
----------------------------------------------
SET
(1 row)
SELECT GET_DATA_COLLECTOR_POLICY('QueryExecutions');
GET_DATA_COLLECTOR_POLICY
----------------------------------------------
2000KB kept in memory, 40000KB kept on disk.
(1 row)
7

データコレクターテーブルの消去
– 関数 CLEAR_DATA_COLLECTOR() を使って、データコレクターテーブルのメモリ、ディスク上のレコードを消去
SELECT CLEAR_DATA_COLLECTOR('QueryExecutions');
CLEAR_DATA_COLLECTOR
----------------------------------------------
CLEAR
(1 row)
SELECT CLEAR_DATA_COLLECTOR();
CLEAR_DATA_COLLECTOR
----------------------------------------------
CLEAR
(1 row)
8

クエリのプロファイル
9

10
クエリの
プロファイル
実行計画
• パスID
統計情報
カウンター
• 実行時間
をトリガ
テーブル
事項
のスピル

クエリプロファイルの生成
– クエリの前に PROFILE をつけることにより、クエリパフォーマンス分析のために使える情報が得られる
11
PROFILE SELECT order_number,date_ordered
FROM store.store_orders_fact orders
WHERE orders.store_key IN (
SELECT store_key
FROM store.store_dimension
WHERE store_state = 'MA')
AND orders.vendor_key NOT IN (
SELECT vendor_key
FROM public.vendor_dimension
WHERE vendor_state = 'MA')
AND date_ordered < '2012-03-01';

プロファイルの結果
12
NOTICE 4788: Statement is being profiled.
HINT: SELECT *
FROM v_monitor.execution_engine_profiles
WHERE transaction_id = 45035996273738674 AND statement_id = 15;
NOTICE 3557: Initiator memory for query: [on pool general: 732615 KB, minimum: 147104
KB]
NOTICE 5077: Total memory required by query: [732615 KB]
order_number | date_ordered
--------------+--------------
292437 | 2012-01-01
240145 | 2012-01-01
234175 | 2012-01-02
27987 | 2012-01-02
47916 | 2012-01-02
8588 | 2012-01-01
252130 | 2012-01-02
213721 | 2012-01-02
265128 | 2012-01-02

クエリの出力をリダイレクト
13
=> o /dev/null
=> PROFILE SELECT order_number,date_ordered
FROM store.store_orders_fact;
NOTICE 4788: Statement is being profiled
HINT: Select * from v_monitor.execution_engine_profiles where
transaction_id=45035996273710140 and statement_id=28;
NOTICE 3557: Initiator memory for query: [on pool general: 6816 KB, minimum:
6816 KB]
NOTICE 5077: Total memory required by query: [6816 KB]
=> o

マネージメントコンソールのクエリプロファイル
14

プロファイリングの状態の確認
– プロファイリングが有効化されているかどうか確認するためには、下記を実行
15
SELECT SHOW_PROFILING_CONFIG();
SHOW_PROFILING_CONFIG
--------------------------------------------
Session Profiling: Local off, Global off
EE Profiling: Local off, Global off
Query Profiling: Local off, Global off

プロファイリングの管理
– 全ノードにおいて、全セッションに対するプロファイリングを有効化／無効化
SELECT SET_CONFIG_PARAMETER('[global_profiling_type]',[1/0]);
– プロファイリングのタイプ
– session—基本的なセッションのパラメーターとロックタイムアウトのデータのプロファイリング
– ee—各クエリの実行に関する情報をプロファイリング
– query—クエリ文やクエリ実行時間のような実行したクエリに関する一般的な情報のプロファイリング
– プロファイリングのデータを消去
SELECT CLEAR_PROFILING('[type_of_profiling]');
16

プロファイル結果に対する対応
プロファイルで、過度のメモリが使われていることが判明した場合
– データセットのサイズを最小化するために述語を使用
–フィルタ、サブクエリの使用、 RLE エンコーディングの使用の検討
– メモリのスピルの回避
–データセットの最小化
–サブクエリの使用
–実行計画でソートを遅らせる
–ノードあるいは使用されているリソースプールへのメモリ追加
17

19
クエリの
プロファイル
実行計画
• パスID
統計情報
カウンター
• 実行時間
をトリガ
テーブル
事項
のスピル

実行計画の生成
– クエリの前に EXPLAIN をつけることにより、オプティマイザのクエリプランの実行ストラテジーが得られる
– オプティマイザが実行可能なプランを評価し、コストに基づいて最良な選択肢を返す
20
EXPLAIN SELECT order_number,date_ordered
FROM store.store_orders_fact orders
WHERE orders.store_key IN (
SELECT store_key
FROM store.store_dimension
WHERE store_state = 'MA')
AND orders.vendor_key NOT IN (
SELECT vendor_key
FROM public.vendor_dimension
WHERE vendor_state = 'MA')
AND date_ordered < '2012-03-01';

マネージメントコンソールの実行計画
21

GraphViz
– 「BASE QUERY PLAN （GraphVizフォーマット）」データを新規の GraphViz ドキュメントにコピー
– 下記ページからGraphVizをダウンロード
www.graphviz.org
– 有向グラフを svg 形式で出力し、インターネットブラウザで表示
– 有向グラフをズームしたり、左右に回転することが可能
22

実行計画の結果：プロジェクション
23
Access Path:
+-JOIN HASH [Semi] [Cost: 1K, Rows: 75K (625 RLE)] (PATH ID: 1)
| Join Cond: (orders.store_key = VAL(2))
| Materialize at Input: orders.store_key
| Materialize at Output: orders.order_number, orders.date_ordered
| +-- Outer -> JOIN HASH [Anti][NotInAnti] [Cost: 343, Rows: 150K (1K RLE)] (PATH ID: 2)
| | Join Cond: (orders.vendor_key = VAL(3))
| | +-- Outer -> STORAGE ACCESS for orders [Cost: 147, Rows: 300K (2K RLE)] (PATH ID: 3)
| | | Projection: store.store_orders_fact_DBD_13_rep_VMartDesign_node0001
| | | Materialize: orders.vendor_key
| | | Filter: (orders.date_ordered < '2012-03-01'::date)
| | | Runtime Filter: (SIP1(HashJoin): orders.store_key)
| | +-- Inner -> SELECT [Cost: 20, Rows: 3] (PATH ID: 4)
| | | +---> STORAGE ACCESS for vendor_dimension [Cost: 20, Rows: 3] (PATH ID: 5)
| | | | Projection: public.vendor_dimension_DBD_6_rep_VMartDesign_node0001
| | | | Materialize: vendor_dimension.vendor_key
| | | | Filter: (vendor_dimension.vendor_state = 'MA')
| +-- Inner -> SELECT [Cost: 21, Rows: 16] (PATH ID: 6)
| | +---> STORAGE ACCESS for store_dimension [Cost: 21, Rows: 16] (PATH ID: 7)
| | | Projection: store.store_dimension_DBD_11_rep_VMartDesign_node0001
| | | Materialize: store_dimension.store_key
| | | Filter: (store_dimension.store_state = 'MA')

実行計画の結果：オペレーションタイプ
24
Access Path:

実行計画の結果：フィルター
25
Access Path:

実行計画の結果：コスト
26
Access Path:

実行計画の結果：パスID
27
Access Path:

データの再配布
– 分散されたプロジェクションのデータだけが、 RESEGMENT あるいは BROADCAST の対象
– 結合がローカルで処理されないため、実行時にデータを再配布しなければならずネットワーク負荷が高くなる
– プロジェクションのデータは、操作されて、クエリのためにデータ編成される必要がある
28

RESEGMENT
– 分散化されたプロジェクションのデータは、クエリ実行中に、 Identically Segmented プロジェクションに再分散さ
れ、全ノードに分散される必要あり
EXPLAIN SELECT CD.annual_income,OSI.sale_date_key
FROM online_sales.online_sales_fact OSI
FULL OUTER JOIN customer_dimension CD
ON CD.customer_key = OSI.customer_key;
Access Path:
+-JOIN HASH [FullOuter] [Cost: 18K, Rows: 5M] (PATH ID: 1) Outer (RESEGMENT) Inner (FILTER)
| Join Cond: (CD.customer_key = OSI.customer_key)
| Execute on: All Nodes
| +-- Outer -> STORAGE ACCESS for OSI [Cost: 3K, Rows: 5M] (PATH ID: 2)
| | projection: online_sales.online_sales_fact_DBD_12_seg_vmartdb_design
| | Materialize: OSI.sale_date_key, OSI.customer_key
| | Execute on: All Nodes
| +-- Inner -> STORAGE ACCESS for CD [Cost: 264, Rows: 50K] (PATH ID: 3)
| | projection: public.customer_dimension_DBD_1_rep_vmartdb_design_node0001
| | Materialize: CD.annual_income, CD.customer_key

BROADCAST
– 分散化されたプロジェクションのデータは、クエリ実行中に、複製され、全ノードに分散される必要あり
30
EXPLAIN SELECT *
FROM T1 LEFT JOIN T2 ON T1.a > T2.y;
Access Path:
+-JOIN HASH [LeftOuter][Cost:40K,Rows:10K(NO STATISTICS)](PATH ID: 1) Inner (BROADCAST)
| Join Filter: (T1.a > T2.y)
| Materialize at Output: T1.b
| Execute on: All Nodes
| +--Outer->STORAGE ACCESS for T1[Cost:151,Rows:10K(NO STATISTICS)](PATH ID:2)
| | projection: public.T1_b0
| | Materialize: T1.a
| +--Inner->STORAGE ACCESS for T2[Cost:302,Rows:10K(NO STATISTICS)](PATH ID:3)
| | projection: public.T2_b0
| | Materialize: T2.x, T2.y

実行計画のプロファイル
31
SELECT path_id, path_line_index, running_time, memory_allocated_bytes, read_from_disk_bytes, path_line FROM
query_plan_profiles
WHERE transaction_id = 45035996273738674 and statement_id = 15 ORDER BY path_id, path_line_index;
-[ RECORD 1 ]----------+--------------------------------------------------------
path_id | 2
path_line_index | 1
running_time | 00:00:00.316575
memory_allocated_bytes | 46802096
read_from_disk_bytes |
path_line | +-GROUPBY HASH (SORT OUTPUT) (LOCAL RESEGMENT GROUPS)
[Cost: 81K, Rows: 2M (NO STATISTICS)] (PATH ID: 2)
-[ RECORD 2 ]----------+---------------------------------------------------------
path_id | 8
path_line_index | 1
running_time | 00:00:00.000461
memory_allocated_bytes | 570104
read_from_disk_bytes | 0
path_line | +---> STORAGE ACCESS for store_dimension [Cost: 35,
Rows: 249 (NO STATISTICS)] (PATH ID: 8)

プロジェクションの DDL の出力
– セグメンテーション句を決定するために、 JOIN 句に使われているプロジェクションの DDL を確認
– ファイルへの出力方法
SELECT EXPORT_OBJECTS
('[destination]','[schema.projectionName]');
– 画面上での表示方法
SELECT EXPORT_OBJECTS ('','[schema.projectionName]');
– 最適なセグメンテーションを提供するために、結合キーによって複製もしくは分散された新規プロジェクションを作
成
32

分散化されたデータサイズ
–PROJECTION_STORAGE は、分散化されたデータサイズを表示
– 全ノード間で均一に分散されていることを確認
– 最適なセグメンテーションを提供するために、結合キーによって複製もしくは分散された新規プロジェクションを作
成
33
SELECT node_name, projection_name, used_bytes
FROM projection_storage
WHERE projection_name ilike 'customer_dimension_DBD_1%'
ORDER BY node_name;
node_name | projection_name | used_bytes
----------------+-----------------------------------------+-----------
vmartdb_node0001| customer_dimension_DBD_1_rep_PT_b0 | 5312725

35
クエリの
プロファイル
実行計画
• パスID
統計情報
カウンター
• 実行時間
をトリガ
テーブル
事項
のスピル

統計情報
• データベース上全体あるいはテーブル毎に統計情報を更新することが、解析に時間がかかってプロジェクション
の修正が必要となる前に、簡単な解決策となりうる
– NO STATISTICS は、クエリの述語のヒストグラムが使用不可であることを示す
– PREDICATE VALUE OUT-OF-RANGE は、クエリの述語がヒストグラムの範囲外であることを示す
36
| | +-- Outer -> STORAGE ACCESS for fact [Cost: 604, Rows: 10K (NO
STATISTICS)]
| | +-- Outer -> STORAGE ACCESS for fact [Cost: 35, Rows: 1 (PREDICATE VALUE
OUT-OF-RANGE)]

統計情報の更新：ANALYZE_STATISTICS
– 大量データが追加あるいは変更された、もしくは、新規テーブルが追加された場合、手動で統計情報を生成
– データベース上の全テーブルに対して実行する場合
SELECT ANALYZE_STATISTICS('');
– 特定のデータベースオブジェクトに対して実行する場合
SELECT ANALYZE_STATISTICS
('[[db-name.]schema.] table [.column-name]');
– データの 10％（固定）を読み込み
– 0 は成功の意
– エラーが返ってきた場合は、 Vertica.log を参照
37

統計情報の更新：ANALYZE_HISTOGRAM
– 可変量のデータを読み込み可能
– サンプルに含まれるデータの比率を指定
– データベース上の全テーブルに対して実行する場合
SELECT ANALYZE_HISTOGRAM(''[,(percent)]);
– 特定のデータベースオブジェクトに対して実行する場合
SELECT ANALYZE_HISTOGRAM('[[db-name.]schema.]table
[.column-name]' [,(percent)]);
38

プロジェクションの統計情報の確認
– システムテーブル PROJECTIONS により、各プロジェクションで統計情報が取得されているかどうかが確認可能
39
SELECT projection_name, has_statistics FROM projections;
-[ RECORD 1 ]---------+------------------------------------
projection_name | call_center_dimension_DBD
_8_rep_VMartDesign_node0001
has_statistics | t
-[ RECORD 2 ]---------+------------------------------------
projection_name | online_page_dimension_DBD
_7_rep_VMartDesign_node0001
has_statistics | f

列の統計情報の確認
– システムテーブル PROJECTION_COLUMNS により、各列において統計情報更新が実行された最終時刻を確認可
能
40
SELECT projection_name, projection_column_name,
statistics_type, statistics_updated_timestamp
FROM projection_columns;
-[ RECORD 1 ]-----------------+---------------------------
projection_name | allsales_DBD_16_rep_
VMartDesign_node0001
projection_column_name | state
statistics_type | FULL
statistics_updated_timestamp | 2013-08-13 11:12:37.025161-04

42
クエリの
プロファイル
実行計画
• パスID
統計情報
カウンター
• 実行時間
をトリガ
テーブル
事項
のスピル

実行エンジン
– クエリを実行
– クエリ実行に関するプロファイリング情報を提供
– クエリプランの品質問題
– プロジェクション設計上の問題
– データの再分散もしくはブロードキャスト
– 各オペレーターに割り当てられるメモリ量
– 各オペレーターで実行するスレッド数
– クエリの実行期間にわたって、それぞれのポイントで、データが各オペレーターにどのようにして流れていったのか
43

実行エンジンでよく使われるカウンター
– execution time (us)
– CPU の処理時間（マイクロ秒）
– file handles
– rows produced
– total merge phases
– 完全にソートされたデータを作成するために実行完了されなければならないソートのマージフェーズ数の合計
– completed merge phases
– ソートが既に完了されたマージフェーズ数
– current size of temp files (bytes)
– エンコード・圧縮された一時データのサイズ
45

カウンターの集計（1/2）
46
SELECT node_name, operator_name, operator_id,
sum(DECODE(counter_name, 'memory allocated (bytes)',
counter_value, NULL)) AS 'memory allocated (bytes)',
sum(DECODE(counter_name, 'memory reserved (bytes)',
counter_value, NULL)) AS 'memory reserved (bytes)'
FROM execution_engine_profiles
WHERE transaction_id = 45035996273706504 and statement_id = 4
GROUP BY node_name, operator_name, operator_id
ORDER BY operator_id desc, node_name, operator_name;

カウンターの集計（2/2）
47
node_name | operator_name | operator_id | memory allocated (bytes)| memory reserved (bytes)
------------------------------+----------------------+------------------+-----------------------------------+-----------------------------------
v_vmartdb_node0001 | Scan | 10 | 529528 | 0
v_vmartdb_node0001 | StorageUnion | 9 | 140104 | 2424832
v_vmartdb_node0001 | Join | 5 | 2535264 | 1097728
v_vmartdb_node0001 | Join | 4 | 2949144 | 1097728
v_vmartdb_node0001 | ExprEval | 3 | 3520 | 196608
v_vmartdb_node0001 | NewEENode | 1 | 65904 | 196608
v_vmartdb_node0001 | Root | 0 | 0 | 0
(10 rows)

MC で見る実行エンジンのプロファイルデータ（1/3）
– MC の Explain タブでプロファイルを実行した後、 View Execution Events をクリック
48

49

50

52
クエリの
プロファイル
実行計画
• パスID
統計情報
カウンター
• 実行時間
をトリガ
テーブル
事項
のスピル

QUERY_EVENTS – 最適化
– クエリのプランや、最適化、実行イベントに関する情報を返す
–QUERY_EVENTS の列 event_type から次の値を探す
– PREDICATE OUTSIDE HISTOGRAM: オプティマイザが、ヒストグラム全体に対して不正確な述語を
検出
– NO HISTOGRAM: オプティマイザが、ヒストグラムを持たない列が述語に指定されていることを
検出
– MEMORY LIMIT HIT: オプティマイザが実行計画作成中に割り当てられたメモリを全て使用
– 特定されたトランザクションに対して、解決のために、列 event_description と列
suggested_action を確認
53

オプティマイザの詳細情報
54
SELECT * FROM query_events
WHERE transaction_id = 45035996273705062 AND statement_id = 2
and event_category = 'optimization';
-[ RECORD 1 ]------------+----------------------------------------------
event_timestamp | 2012-01-25 12:33:04.352453-05
node_name | v_vmart_schema_node0001
user_id | 45035996273704962
user_name | dbadmin
session_id | verticaTraining64bi-7886:0x22
request_id | 30
transaction_id | 45035996273705062
statement_id | 2
event_category | OPTIMIZATION
event_type | NO HISTOGRAM
event_description | The optimizer encountered a predicate on a column
for which it does not have a histogram
object_id | 45035996273719954
event_details | No histogram for
store.store_dimension.store_state
suggested_action |
analyze_statistics('store.store_dimension.store_state');

QUERY_EVENTS – 実行
–QUERY_EVENTS の列 event_type で、次の値を探す
– GROUP_BY_SPILLED
– JOIN_SPILLED
– RESEGMENTED_MANY_ROWS
– 特定したトランザクションで、列 event_description と列 suggested_action の内容を解決
のために確認
55

イベントの詳細情報
56
SELECT * FROM query_events
WHERE transaction_id = 45035996273705062 AND statement_id = 2
and event_category = 'execution';
-[ RECORD 1 ]------------+----------------------------------------------
event_timestamp | 2012-01-25 12:33:04.352453-05
node_name | v_vmart_schema_node0001
user_id | 45035996273704962
user_name | dbadmin
session_id | verticaTraining64bi-7886:0x22
request_id | 30
transaction_id | 45035996273705062
statement_id | 2
event_category | EXECUTION
event_type | GROUP_BY_SPILLED
event_description | GROUP BY key set did not fit in memory, using
external sort grouping.
object_id |
event_details |
suggested_action | Consider a sorted projection. Increase memory
available to the plan

追加のシステムテーブル
57

58
クエリの
プロファイル
実行計画
• パスID
統計情報
カウンター
• 実行時間
をトリガ
テーブル
事項
のスピル

追加でおさえておくべきシステムテーブル
– QUERY_PROFILES
– QUERY_METRICS
– QUERY_REQUESTS
59

本章のまとめ
– クエリの解析方法の概要
– クエリのプロファイル
– 実行計画
– 統計情報
– カウンター
– イベントタイプ
– 追加のシステムテーブル

03 kueripahuomansuchiyuninguno shou_fa_

Recommended

Recommended

More Related Content

Similar to 03 kueripahuomansuchiyuninguno shou_fa_

Similar to 03 kueripahuomansuchiyuninguno shou_fa_ (20)

More from Kaito Tonooka

More from Kaito Tonooka (15)

03 kueripahuomansuchiyuninguno shou_fa_