Recommended
Recommended
More Related Content
More from decode2016
More from decode2016 (20)
Recently uploaded
Recently uploaded (9)
DBP-005_SQL Server 2016 Operational Analytics によるデータ活用
- 4. Operational System 業務処理によるデータ蓄積 小規模トランザクションが多発 IIS Server 業務システム ユーザー Analytical System ETL によるデータウェアハウス作成
- 5. Operational System 業務処理によるデータ蓄積 小規模トランザクションが多発 IIS Server 業務システム ユーザー Analytical System ETL によるデータウェアハウス作成 分析に特化したデータ構造 BI アナリスト
- 6. Operational System 業務処理によるデータ蓄積 小規模トランザクションが多発 IIS Server 業務システム ユーザー Analytical System ETL によるデータウェアハウス作成 分析に特化したデータ構造 パフォーマンス向上のためにSSASも使用 BI アナリスト
- 8. IIS Server 業務システム ユーザー BI アナリスト Goal Operational System で 蓄積したデータを、直接分 析で使えるようにする！
- 9. IIS Server 業務システム ユーザー BI アナリスト Goal Operational System で 蓄積したデータを、直接分 析で使えるようにする！ 利点 ETLによるデータ操作不要！
- 10. IIS Server 業務システム ユーザー BI アナリスト Goal Operational System で 蓄積したデータを、直接分 析で使えるようにする！ 利点 DWH用マシン不要！ ETLによるデータ操作不要！ リアルタイム分析ができる！
- 12. 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
- 13. 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
- 15. 少ないIO回数で小規模データへアクセス • インデックス Seek が有効 定型クエリが主要ワークロード SELECT FROM WHERE SELECT FROM WHERE [社員NO]=911423
- 16. 大量データの並べ替え 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ SELECT FROM GROUP BY [売上年],[売上月],[商品CD] ORDER BY [売上年],[売上月],[商品CD] ,SUM([売上金額]) 大量データのグループ化 大量データの集計 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・
- 18. 社員NO 売上年 売上月 売上日 売上金額 商品CD 顧客CD ……… 160512 2016 12 21 501201 SNE12 56912 ・・・・ 231492 2016 01 12 1252011 EBA45 11125 ・・・・ 197241 2013 04 25 114352 ESB11 39462 ・・・・ 976127 2011 01 19 9822215 AQD09 42531 ・・・・ 241378 2015 10 27 421124 KLQ01 72236 ・・・・ 291023 2014 11 11 4988712 CVW02 69987 ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 8 KBの論理 I/O 単位からの 脱却 ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ ・・・・・・ ・・・・ ・・・・ ・・・・ ・・・・ ・・・・・ ・・・・・ ・・・・ 列ストアインデックス
- 24. Operational ワークロード クラスタ化/非クラスタ化インデックス によるデータアクセス Analytical ワークロード 列ストアインデックスによる データアクセス Operational Analytics の実現
- 27. 列ストア圧縮 バッチモード
- 36. デルタストア 列ストアインデックスへのデータ追加時 に使用される一時領域 8 KB のページに行ストア形式でデータ を保持 1,024,000行が蓄積されると列ストア セグメント形式へ変換 SQL Server 2014 まではページ圧縮 されていたが、SQL Server 2016から は圧縮無し
- 39. 削除ビットマップ セグメントデータの論理削除を実現する ためのビットマップ • 削除行のクラスタ化キー/RIDを登録 • データ参照時には削除行を返さないための フィルターとして作用 削除バッファ 削除ビットマップ登録負荷軽減のための 一時領域 • 削除行のクラスタ化キー/RIDを登録 • 定期的に削除ビットマップに登録
- 40. 列ストアセグメントは論理削除のみ実施 DELETE FROM [売上テーブル] WHERE [社員NO]=912345 DELETE FROM [売上テーブル] WHERE [社員NO]=812143 DELETE FROM [売上テーブル] WHERE [社員NO]=452142 DELETE FROM [売上テーブル] WHERE [社員NO]=452142
- 45. -列セグメント化の猶予 -
- 46. 可能な限りデルタストアでの更新操作 • 非圧縮データを行ストア形式で保持 • 更新オーバーヘッドが小さい 列ストアセグメントの断片化軽減 • 断片化解消にはインデックスの再構築/ 再編成が必要
- 47. 列セグメント化の動作 1. デルタストアに一定量のデータが蓄積される 2. デルタストアが[CLOSED]と設定される 3. バックグラウンド処理でデルタストアが列スト アセグメントに変換される
- 48. 列セグメント化の猶予 [CLOSED]設定後の待機時間を「分」 単位で指定 CREATE NONCLUSTERED COLUMNSTORE INDEX ….. WITH COMPRESSION_DELAY=600
- 52. • データ追加主体のワークロード • 混合ワークロード (UPDATE/DELETE/INSERT) • sys. dm_db_column_store_row_group_physical_stats を確認 • 断片化率 10%以上であればCOMPRESSION_DELAY値の変更を検討
- 53. -インデックス作成範囲の限定 -
- 54. 更新多発箇所を除外
- 55. CREATE NONLCUSTERED COLUMNSTORE INDEX ….. WHERE [売上年] >= 2016 AND [売上月] =< 4
- 56. 更新多発箇所を除外
- 58. 既存の Operational 環境に、非クラスタ化列ストアイン デックスを定義することで Analytics にも対応できる！ トランザクションデータから、分析データへの変換を不要にす ることでリアルタイム分析を実現！ OLTP ワークロード/分析ワークロードの相互干渉を軽減する ために SQL Server 2016 新機能活用が必須！