Download to read offline
![少ないIO回数で小規模データへアクセス
• インデックス Seek が有効
定型クエリが主要ワークロード
SELECT
FROM
WHERE
SELECT
FROM
WHERE [社員NO]=911423](https://image.slidesharecdn.com/dbp-005sqlserver2016operationalanalytics-171221064341/85/DBP-005_SQL-Server-2016-Operational-Analytics-15-320.jpg)
![大量データの並べ替え
社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ………
160512 2016 12 21 501201 SNE12 56912 ・・・・
231492 2016 01 12 1252011 EBA45 11125 ・・・・
197241 2013 04 25 114352 ESB11 39462 ・・・・
976127 2011 01 19 9822215 AQD09 42531 ・・・・
241378 2015 10 27 421124 KLQ01 72236 ・・・・
291023 2014 11 11 4988712 CVW02 69987 ・・・・
・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
SELECT
FROM
GROUP BY [売上年],[売上月],[商品CD]
ORDER BY [売上年],[売上月],[商品CD]
,SUM([売上金額])
大量データのグループ化
大量データの集計
社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ………
160512 2016 12 21 501201 SNE12 56912 ・・・・
231492 2016 01 12 1252011 EBA45 11125 ・・・・
197241 2013 04 25 114352 ESB11 39462 ・・・・
976127 2011 01 19 9822215 AQD09 42531 ・・・・
241378 2015 10 27 421124 KLQ01 72236 ・・・・
291023 2014 11 11 4988712 CVW02 69987 ・・・・
・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ………
160512 2016 12 21 501201 SNE12 56912 ・・・・
231492 2016 01 12 1252011 EBA45 11125 ・・・・
197241 2013 04 25 114352 ESB11 39462 ・・・・
976127 2011 01 19 9822215 AQD09 42531 ・・・・
241378 2015 10 27 421124 KLQ01 72236 ・・・・
291023 2014 11 11 4988712 CVW02 69987 ・・・・
・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ………
160512 2016 12 21 501201 SNE12 56912 ・・・・
231492 2016 01 12 1252011 EBA45 11125 ・・・・
197241 2013 04 25 114352 ESB11 39462 ・・・・
976127 2011 01 19 9822215 AQD09 42531 ・・・・
241378 2015 10 27 421124 KLQ01 72236 ・・・・
291023 2014 11 11 4988712 CVW02 69987 ・・・・
・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・](https://image.slidesharecdn.com/dbp-005sqlserver2016operationalanalytics-171221064341/85/DBP-005_SQL-Server-2016-Operational-Analytics-16-320.jpg)
![列ストアセグメントは論理削除のみ実施
DELETE FROM [売上テーブル]
WHERE [社員NO]=912345
DELETE FROM [売上テーブル]
WHERE [社員NO]=812143
DELETE FROM [売上テーブル]
WHERE [社員NO]=452142
DELETE FROM [売上テーブル]
WHERE [社員NO]=452142](https://image.slidesharecdn.com/dbp-005sqlserver2016operationalanalytics-171221064341/85/DBP-005_SQL-Server-2016-Operational-Analytics-40-320.jpg)
![列セグメント化の動作
1. デルタストアに一定量のデータが蓄積される
2. デルタストアが[CLOSED]と設定される
3. バックグラウンド処理でデルタストアが列スト
アセグメントに変換される](https://image.slidesharecdn.com/dbp-005sqlserver2016operationalanalytics-171221064341/85/DBP-005_SQL-Server-2016-Operational-Analytics-47-320.jpg)
![列セグメント化の猶予
[CLOSED]設定後の待機時間を「分」
単位で指定
CREATE NONCLUSTERED
COLUMNSTORE INDEX …..
WITH COMPRESSION_DELAY=600](https://image.slidesharecdn.com/dbp-005sqlserver2016operationalanalytics-171221064341/85/DBP-005_SQL-Server-2016-Operational-Analytics-48-320.jpg)
![CREATE NONLCUSTERED
COLUMNSTORE INDEX …..
WHERE [売上年] >= 2016
AND [売上月] =< 4](https://image.slidesharecdn.com/dbp-005sqlserver2016operationalanalytics-171221064341/85/DBP-005_SQL-Server-2016-Operational-Analytics-55-320.jpg)
![[Oracle Code Tokyo 2017] Live Challenge!! SQLパフォーマンスの高速化の限界を目指せ！](https://cdn.slidesharecdn.com/ss_thumbnails/livechallengeoraclecodetokyo2017v4-200702090817-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D24] あなたのビジネスを変えるInfiniDBケーススタディ by Toshihide Hanatani](https://cdn.slidesharecdn.com/ss_thumbnails/d24-140630203914-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか？ by 日本ヒューレット・パッカード株式...](https://cdn.slidesharecdn.com/ss_thumbnails/dbtssapporo2015b16bigdataverticahewletpackard-150918014205-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2015] A14:Amazon Redshiftの元となったスケールアウト型カラムナーDB徹底解説 その...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015a14actian-matrix-insight-technology-150618094408-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015b36hadbhitachi-150619110029-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
DBP-005_SQL Server 2016 Operational Analytics によるデータ活用
- 3.
- 4. Operational System 業務処理によるデータ蓄積 小規模トランザクションが多発 IIS Server 業務システム ユーザー AnalyticalSystem ETL によるデータウェアハウス作成
- 5. Operational System 業務処理によるデータ蓄積 小規模トランザクションが多発 IIS Server 業務システム ユーザー AnalyticalSystem ETL によるデータウェアハウス作成 分析に特化したデータ構造 BI アナリスト
- 6. Operational System 業務処理によるデータ蓄積 小規模トランザクションが多発 IIS Server 業務システム ユーザー AnalyticalSystem ETL によるデータウェアハウス作成 分析に特化したデータ構造 パフォーマンス向上のためにSSASも使用 BI アナリスト
- 7.
- 8. IIS Server 業務システム ユーザー BI アナリスト Goal OperationalSystem で 蓄積したデータを、直接分 析で使えるようにする！
- 9. IIS Server 業務システム ユーザー BI アナリスト Goal OperationalSystem で 蓄積したデータを、直接分 析で使えるようにする！ 利点 ETLによるデータ操作不要！
- 10. IIS Server 業務システム ユーザー BI アナリスト Goal OperationalSystem で 蓄積したデータを、直接分 析で使えるようにする！ 利点 DWH用マシン不要！ ETLによるデータ操作不要！ リアルタイム分析ができる！
- 12. 社員NO 売上年 売上月売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
- 13. 社員NO 売上年 売上月売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
- 15. 少ないIO回数で小規模データへアクセス • インデックス Seekが有効 定型クエリが主要ワークロード SELECT FROM WHERE SELECT FROM WHERE [社員NO]=911423
- 16. 大量データの並べ替え 社員NO 売上年 売上月売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ SELECT FROM GROUP BY [売上年],[売上月],[商品CD] ORDER BY [売上年],[売上月],[商品CD] ,SUM([売上金額]) 大量データのグループ化 大量データの集計 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
- 17.
- 18. 社員NO 売上年 売上月売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 8 KBの論理 I/O 単位からの 脱却 ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 列ストアインデックス
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 34.
- 35.
- 36. デルタストア 列ストアインデックスへのデータ追加時 に使用される一時領域 8 KB のページに行ストア形式でデータ を保持 1,024,000行が蓄積されると列ストア セグメント形式へ変換 SQLServer 2014 まではページ圧縮 されていたが、SQL Server 2016から は圧縮無し
- 37.
- 38.
- 39. 削除ビットマップ セグメントデータの論理削除を実現する ためのビットマップ • 削除行のクラスタ化キー/RIDを登録 • データ参照時には削除行を返さないための フィルターとして作用 削除バッファ 削除ビットマップ登録負荷軽減のための 一時領域 •削除行のクラスタ化キー/RIDを登録 • 定期的に削除ビットマップに登録
- 40. 列ストアセグメントは論理削除のみ実施 DELETE FROM [売上テーブル] WHERE[社員NO]=912345 DELETE FROM [売上テーブル] WHERE [社員NO]=812143 DELETE FROM [売上テーブル] WHERE [社員NO]=452142 DELETE FROM [売上テーブル] WHERE [社員NO]=452142
- 41.
- 42.
- 43.
- 44.
- 45.
- 46. 可能な限りデルタストアでの更新操作 • 非圧縮データを行ストア形式で保持 • 更新オーバーヘッドが小さい 列ストアセグメントの断片化軽減 •断片化解消にはインデックスの再構築/ 再編成が必要
- 47. 列セグメント化の動作 1. デルタストアに一定量のデータが蓄積される 2. デルタストアが[CLOSED]と設定される 3.バックグラウンド処理でデルタストアが列スト アセグメントに変換される
- 48. 列セグメント化の猶予 [CLOSED]設定後の待機時間を「分」 単位で指定 CREATE NONCLUSTERED COLUMNSTORE INDEX….. WITH COMPRESSION_DELAY=600
- 49.
- 50.
- 51.
- 52. • データ追加主体のワークロード • 混合ワークロード(UPDATE/DELETE/INSERT) • sys. dm_db_column_store_row_group_physical_stats を確認 • 断片化率 10%以上であればCOMPRESSION_DELAY値の変更を検討
- 53.
- 54.
- 55. CREATE NONLCUSTERED COLUMNSTORE INDEX….. WHERE [売上年] >= 2016 AND [売上月] =< 4
- 56.
- 58. 既存の Operational 環境に、非クラスタ化列ストアイン デックスを定義することでAnalytics にも対応できる！ トランザクションデータから、分析データへの変換を不要にす ることでリアルタイム分析を実現！ OLTP ワークロード/分析ワークロードの相互干渉を軽減する ために SQL Server 2016 新機能活用が必須！