Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Sapporo tech bar 21

149 views

Published on

[8月8日@札幌] Sapporo Tech Bar #21 今さら聞けないSAP HANAの基本と最新情報!
https://www.db-tech-showcase.com/events-seminars/db-tech-salon/20180808_sapporo_tech_bar

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Sapporo tech bar 21

  1. 1. CUSTOMER 今さら聞けない SAP HANAの基本と最新情報 SAPPORO Tech Bar #21 新久保 浩二(しんくぼ こうじ) SAPジャパン株式会社 プラットフォーム事業本部 ビジネス開発部 シニア アーキテクト
  2. 2. 3CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ Who are you? 2000 2002? 2003 20052004 2006 2010 2011 2015 2016 2017 PISO開発 なんとなく社会人 になってずっとPro*Cと PL/SQLを書く日々 2018 この辺でちょっとだけドイツの HANA開発チームに Insight TechnologyにOracleコンサル として入社 この辺でSAPにJOIN この辺でOracle Ace(ちなみに より先に認定) この辺でOracle Ace剥奪 (ちなみに も剥奪済み ☺) この辺からプロダクト開発 HANA担当でイマココ 多分このあたりで 氏に遭遇 この辺でJapan Oracle User Group(JPOUG)設立 このあたりはOracle DMA的な盛り 上がりを見せ始めた時期。でOracle Oak Tableのメンバーが結構、日本 に来始めた時期。Insight Technologyでは、DMA技術をPIでは なくPISOに適用。
  3. 3. 4CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 4 SAP HANAにまつわる疑問1 SAP HANAって、OLAP(DWH)専用 のデータベースなんですよね?
  4. 4. 5CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 5 SAP HANAにまつわる疑問1 そう。。。じゃないんです。 SAP HANAって、OLAP(DWH)専用 のデータベースなんですよね?
  5. 5. 6CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 6 SAPとデータベース開発の歴史 TREX (Text Retrieval and information EXtraction) ‘97 ADABAS D SAP DB ‘03 ‘07 ‘98 ‘05 P*TIME ‘10 HANA 1.0 Sybase Column based in-memory data storage & processing & distributed infra(no SQL, no transaction support) And some processing engines are supported. (graph, search, classification, mining…) Row based on disk SQL access data storage & processing Data Integration (Data Services - ETL) Row based disk oriented Sybase ASE, Column based disk oriented Sybase IQ, Sybase SQL Anywhere, Sybase Replication Server … Row based in-memory SQL access data storage & processing BusinessObjectsMaxDB ‘16 HANA 2.0 ‘18 HANA 2.0 SPS03 By MySQL AB
  6. 6. 7CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 7 SAP HANAの進化の歴史 (OLAPからHTAPへの進化) ミッションクリティカルシステム のための強固な基盤 SPS12 デジタル改革支援機能の強化と オープン化の促進SPS112015 IoTやビッグデータとの接続性と信頼性を強化 プラットフォーム機能の進化とシンプル化の促進 エコシステムの拡張 プラットフォームとしての柔軟性の強化 プラットフォーム化 (Smart Data Access) OLAP / OLTP 統合 (SAP Business Suite on SAP HANA) ビッグデータアプリ対応 (PAL/R言語対応) アジャイルデータマート対応 (SAP BW on HANA) アナリティクス対応 (SAP BusinessObjects 4.0 対応) インメモリーデータベースマーケットの開拓SPS1 SPS2 SPS3 SPS4 SPS5 SPS6 SPS7 SPS8 SPS9 SPS10 2010 2011 2012 2013 2014 2016 2016/11月 SAP次世代 デジタルプラットフォームへ躍進 データベース管理の進化 データ管理の進化 分析インテリジェンスの進化 アプリケーション開発の進化 BW/4HANAのサポート S/4HANAのサポート SoH / BWoHのサポート (NetWeaver 7.49以降) 現在はHANA2.0 SPS03 OLAP用途 OLAP用途に加え、 OLTP用途 データベースに加え、 プラットフォームと して進化
  7. 7. 8CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 8 アナリストの評価 SAPは、 データベース、データ管理で リーダー として認められました The Forrester Wave • In-Memory Database Platforms • Translytical Data Platform • Streaming Analytics • Big Data Warehouse • Enterprise Data Virtualization • Predictive Analytics and Machine Learning Gartner Magic Quadrant • Operational Database Management System • Data Management Solutions for Analytics • Data Integration Tools • Data Quality Tools Challenges Contenders Strong Performers Leaders Strong Weak Current offering Weak Strong Strategy Market presence Challengers Leaders Niche Players Visionaries Abilitytoexecute Completeness of Vision As of November 2017 Figure 1: Magic Quadrant for Operational Database ManagementSystems, Source: Gartner (November 2017)
  8. 8. 9CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 9 SAP HANAにまつわる疑問2 データベースでカラムストアって 流行ってるらしいけど、SAP HANA は、どうなの?
  9. 9. 10CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 10 SAP HANAにまつわる疑問2 データベースでカラムストアって 流行ってるらしいけど、SAP HANA は、どうなの? まず、カラムストアのおさらい からしましょうか...
  10. 10. 11PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 11© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER データベースのワークロード OLTP vs. OLAP OLTP OLAP データソース 日々のビジネスデータ: OLTPのデータはオリジ ナルのデータ (ビジネスデータの発生源) 統合されたデータ: OLAPのデータは多くの OLTPデータベースのデータから構成される データの目的 ビジネスの実行とコントロール 計画、意思決定のサポート 求められる処理スピード 低レイテンシー 高スループット データベース設計 多くのテーブルによる高度な正規化 一般的に非正規化された少ないテーブル (star/snowflake schema) クエリー 一般的に定型的で、シンプル 一般的に集約を含む非定型で、複雑 オペレーション 追加、変更、削除、読み取り 読み取り データセット 6-18ヶ月 数年-十数年
  11. 11. 12PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 12© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER データベースのワークロードとデータストアの最適化 Row Store vs. Column Store Column Store • OLAP向き • 大量データのバルクロード、スキャン • 集計、最大/最小、平均、演算 • 高スループットな参照性能 一 般 的 な 認 識 • OLTP向き • 少量データのRead/Write • 更新、ショートトランザクション • 低レイテンシーなトランクション性能 • リアルタイムプラットホームとしての位置付け • OLAP処理高速化テクノロジーの実装 • OLTP性能向上テクノロジーの実装 • OLTPとOLAPの性能両立 SAPHANA • 超高速OLTPデータベース Row Store *SAP HANAのテーブルは、カラム/ローのいずれかを選択。カラム⇄ロー変換も可能
  12. 12. 13PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 13© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER データベースのワークロードとデータストアの最適化 Row Store vs. Column Store SAP HANAはRow StoreテーブルとColumn Storeテーブルの両方をサポートします。 一般的には全てのワークロードに対してColumn Storeテーブルを使用することを推奨します。 Country Product Sales US Alpha 3,000 US Beta 1,250 JP Alpha 700 US Alpha 3,000 US Beta 1,250 JP Alpha 700 Row #1 Row #2 Row #3 US US JP Alpha Beta Alpha 3,000 1,250 700 Country Product Sales テーブル Row Storeテーブル Column Storeテーブル アプリケーションからはRow Store Tableも Column Store Tableも同一のTableのように 透過的に扱えます
  13. 13. 14PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 14© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store Dictionary compression Nameカラム 無圧縮 Miller John Millman Zsuwalski Baker Miller Jones Miller Johnson John Millman Nameカラム ディクショナリーエンコーディング 4 1 5 N 0 4 3 4 2 1 5 Value ID配列 0 Baker 1 John 2 Johnson 3 Jones 4 Miller 5 Millman N Zsuwalski … ディクショナリー配列 実データとしてはディクショナリー配列を参照するValue IDを格納 カラム単位でDictionary/Value ID配列を作成 • Dictionary:ユニークなカラム値を格納 (位置がValue IDを示す) • Value ID配列:全てのエントリーのValue IDを格納 (位置がRecord IDを示す)
  14. 14. 15PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 15© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store Advanced compression プレフィックスエンコーディング 4 4 4 4 4 4 4 4 3 5 3 1 1 0Uncompressed 8 4 3 5 3 1 1 0Prefixed Encoded 値 出現回数 ランレングスエンコーディング 5 5 5 4 4 4 4 3 3 2 2 2 2 2Uncompressed 5 4 3 2Run-Length Encoded 値 開始位置0 3 7 9 Advanced compression • Prefix Encoding 連続する値を値+繰り返し回数にエンコード • Run Length Encoding (RLE) 連続する値に対して反復を削除して配列の開始位置を保持 • Cluster Encoding 配列を分割、全数同じであれば1文字置換 • Sparse Encoding 最も頻出する値を削除 • Indirect encoding 配列を分割、低カーディナリティであれば再度辞書圧縮
  15. 15. 16PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 16© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store Advanced compression 4 4 4 4 4 4 4 3 3 0 0 0Uncompressed 4 4 4 3 3 0Cluster Encoded Bit Vector 1 1 0 1 クラスターが単一数値に 置き換えられた場合は1 4 4 4 3 3 1 0 0 0 4 4 4 4 0Uncompressed 4 3 3 1 0 0 0 0Sparse Encoded Bit Vector 頻出の値が削除された場合は1 1 1 1 0 0 0 0 0 0 1 1 1 1 0 2 1 576 9 1 2 2 9 88 21 3 19 46 79 45 13 9 6 9 6 3 6 9 3Uncompressed Compressed 1 0 3 2 0 1 1 2 88 21 3 19 46 79 45 13 2 1 2 1 0 1 2 0 0 1 1 2 2 9 3 576 0 3 1 6 2 9 Dictionary for block#1 Dictionary for block#3 block#2はカーディナリティが高いため 追加のディクショナリ圧縮は行わない クラスターエンコーディング スパースエンコーディング インダイレクトエンコーディング
  16. 16. 17PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 17© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store デルタマージ インメモリデータベース デルタストレージ メインストレージ Write デルタマージ Consistent View マネージャー(Read) 書き込みに最適化された領域(デルタストレージ)に対し て、Insert/Update/Deleteを全てInsertで実行する(追記のみ のシンプルなオペレーション) Readオペレーションから、メイン/デルタストレー ジを隠蔽し、仮想的に1テーブルの外観を提供。 Deleteオペレーションによるローの無効化も実行。 トランザクションのIsolation Level(MVCC)も管理。 トランザクション処理とは非同期でデルタストレージを メインストレージにマージする 書き込みに最適化された領域(ディクショナリー圧縮のみ) 読み取りに最適化された領域(圧縮) デルタストレージは純粋なカラムストアでは なく書き込みにも最適された形式
  17. 17. 18CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 18 SAP HANAにまつわる疑問3 インメモリーDBとかカラムストア とかって、ちゃんとトランザク ションをサポートできるの?
  18. 18. 19CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 19 SAP HANAにまつわる疑問3 インメモリーDBとかカラムストア とかって、ちゃんとトランザク ションをサポートできるの? もちろん、リレーショナルDBな ので、きっちりトランザクショ ンもサポートしてますよ。
  19. 19. 20PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 20 Transaction トランザクション分離レベルと特徴 トランザクション分離レベル ダーティリード ファジーリード ファントムリード READ UNCOMMITTED 発生する 発生する 発生する READ COMMITTED 発生しない 発生する 発生する REPEATABEL READ 発生しない 発生しない 発生する SERIALIZABLE 発生しない 発生しない 発生しない トランザクション分離レベル ダーティリード ファジーリード ファントムリード ロストアップデート READ UNCOMMITTED 非サポート 非サポート 非サポート 非サポート READ COMMITTED 発生しない 発生する 発生する 発生する REPEATABEL READ 発生しない 発生しない 発生しない 発生しない SERIALIZABLE 発生しない 発生しない 発生しない 発生しない - ANSI定義のトランザクション分離レベル - HANAのトランザクション分離レベル
  20. 20. 21PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 21 Transaction 同時実行性制御(MVCC)とデルタマージ udiv Invalid CTS DTS X Y 1 0 42 undef 1 100 Create column table T (x int primary key, y int); Insert into T values (1, 100); (by transaction 42, new recordversion is appended) Update T set Y=Y+1 where x=1; (by transaction 44) udiv Invalid CTS DTS X Y 1 0 42 44 1 100 2 0 44 undef 1 101 CTS=Valid From DTS=Valid To Consistent View マネージャーにより計算され、各トランザクションで整合性の とれたデータがフィルターされます
  21. 21. 22PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 22 Transaction 同時実行性制御(MVCC)とデルタマージ • MVCC garbage collection: トランザクションがcommitされるとMVCC garbage collectionが実行される Before garbage collection After garbage collection (udiv:1を参照するト ランザクションが存在しない場合) udiv Invalid CTS DTS X Y 1 0 42 44 1 100 2 0 44 undef 1 101 udiv Invalid CTS DTS X Y 1 1 undef undef 1 100 2 0 undef undef 1 101 udiv Invalid CTS DTS X Y 2 0 undef undef 1 101 • Delta Merge: 定期的に実行されるDelta Mergeにより全てのトランザクションからInvisible(Invalid)なレコードは削除される
  22. 22. 23CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 23 SAP HANAにまつわる疑問4 IntelとかIBM POWERチップに最適 化されていると聞くんですけど、 具体的に何ですか?
  23. 23. 24CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 24 SAP HANAにまつわる疑問4 そう。それ、すごい大事 なん ですよ。 IntelとかIBM POWERチップに最適 化されていると聞くんですけど、 具体的に何ですか?
  24. 24. 25CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 25 CPU/Memoryのパフォーマンストレンド Performance 100,000 CPU自体の純粋なスピード(クロックスピード) の向上は見込めないので、CPU内、CPUコア間 での効率の良い並列処理が必要になる。 In-Memoryの世界だと、メインメモリーはCPUに比較して圧倒的 に低速なので、メインメモリーに対して何も考えずにアクセスす ると、皆さんが思うほどのパフォーマンスアップは望めない。 1980 1985 1990 1995 2000 2005 2010 10 100 1,000 10,000 Processor CPU/Memory Performance GAP Processor-Memory Performance GAP Memory 1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 10 100 1,000 10,000 1.5, VAX-11/785 VAX-11/780 VAX8700 Sun-4/260 MIPS M/120 MIPS M2000 IBM RS6000/540 HP PA-RISC, 0.05GHz Alpha 21064, 0.2GHz PowerPC 604, 0.1GHz Alpha 21064A, 0.3GHz Alpha 21164A, 0.3GHz Alpha 21164, 0.5GHz Alpha 21164, 0.6GHz Alpha 21264, 0.6GHz Alpha 21264A, 0.7GHz Intel Pentium Ⅲ,1.0GHz AMD Athlon, 1.6GHz Intel Pentium 4, 3.0GHz AMD Opteron, 2.2GHz Intel Xeon, 3.6GHz 64bit Intel Xeon, 3.6GHz 9 13 18 24 51 80 117 183 280 481 649 993 1267 1779 2584 4195 5367 5764 6505 Performance(vs.VAX-11/780) 25%/Year 52%/Year 20%/Year History of CPU Performance 5
  25. 25. 26CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 26 インメモリーの世界でのボトルネックはどこか? Disk ディスクは信じられないくらい遅いので、 アーカイブとトランザクションの永続化くら いの用途で、それ以上は、もう考えない。 - CPUのクロックスピードは頭打ちなので、 もっと賢くCPUを使わないとね - 同じコードを書いていても、CPUの 進化に合わせて勝手にスピードアッ プする時代は終わり - 効率の良いコードに書き換えないと (SIMDとかTSXとかを使うように) - さらにはメインメモリーへのアクセ スを削減しないとね CPU1 CPU2 CPU3 CPU4 - メインメモリーは速くないよ - 帯域は広くなっているけど、レイテンシー が全然ダメ - 特に(CPU)キャッシュミスした時のメインメ モリーアクセスは本当に悪夢 - あと、NUMAアーキテクチャーに即した データローカリティを考えないとね - CPUのクロックスピードは頭打ちなので、 もっと賢くCPUを使わないとね - 同じコードを書いていても、CPUの 進化に合わせて勝手にスピードアッ プする時代は終わり - 効率の良いコードに書き換えないと (SIMDとかTSXとかを使うように) - さらにはメインメモリーへのアクセ スを削減しないとね CPU core CPU cache CPU core CPU cache CPU core CPU cache CPU core CPU cache メインメモリー
  26. 26. 27CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 27 ハードウェアとOLAPの最適化のおさらい(の一部) Pentium ⅢよりSSE(Streaming SIMD Extensions)として搭載されSIMDレジスタのサイズは128bit、Sandy BridgeよりIntel AVX (Advanced Vector eXtensions)となりSIMDレジスタのサイズは256bit。Intel SkylakeはSIMDレジスタサイズは512bitとなり、 今後SIMDレジスタサイズは増加していくと考えられる。(* ここではIntel版のみ言及) 1 2 3 4 4個のデータの集合A(配列A) 1 2 3 4 4個のデータの集合B(配列B) を順番に足し算したい 1 2 3 4 1 2 3 4 2 4 6 8 + + + + = = = = 1 2 3 4 1 2 3 4 + (SIMD_Plus) 2 4 6 8 = +演算は 4回 従来の処理では、4個のデータ を処理するのに+演算(足し 算)が4回必要 +演算は 1回 SIMD演算では、4個のデータ を1回の+演算(足し算)で実行 => CPU演算の削減 SIMDレジスタサイズ(この場合は128bit ← ココのサイズが大きるなる傾向) A: B:
  27. 27. 28CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 28 OLTPの(インメモリー)データベースとしての課題(の一部) OLTPでの同時実行性の制御 - ロックやラッチ(semaphore、mutex) 古典的な手法で、あまり細かい粒度でリソースを管理するとパフォーマンスが良くないので、適度な粒度でまとめてリソースを管理します。 まとめて管理されるため、影響を受ける範囲が広がり、同時実効性が悪くなる場合があります。また、パフォーマンス向上のために各所に スピンロック(いわゆる無限ループ)も使用されるためロックの頻度によってはパフォーマンスオーバーヘッドが大きい場合があります。 さらに、容易にデッドロックが発生させることが可能なのでコードの安定性とメンテナンスには常に困難が伴います。 インメモリーの世界では、I/Oボトルネックは排除される反面、 高トランザクション状態ではトランザクションシリアライズに 多くの時間がかかる トランザクションの16-25%はlock manager関連との調査結果 “Lightweight Locking for Main Memory Database Systems” http://www.vldb.org/pvldb/vol6/p145-ren.pdf
  28. 28. 29CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 29 OLTPの課題のSAP HANAとしての最適化(の一部) - トランザクショナル・メモリー H/W(CPU)で古典的なロック処理を実装。ユーザー(データベース)はH/Wがロック違反 を検知した場合のみを実装すれば良い。 多くの場合は、スピンロックが不要になり、基本的にデッドロックも発生しない。 同時実行時の競合がない場合は、OSのスケジューラーのオーバーヘッドも発生しない。 ただ、パフォーマンスの最適化はコンパイラー次第 なので、チップベンダー (≒コンパイラーベンダー)との協業が大事 START XBEGIN 投機的実行 競合判定 or XABORT Write-set反映、破棄 XEND END Write-set破棄 ABORTの状態をレ ジスタに記憶 * TSXのRTM(Restricted Transactional Memory)の場合 基 本 的 に ハ ー ド ウ ェ ア 実 装 で の 処 理 ( ト ラ ン ザ ク シ ョ ナ ル メ モ リ ー ) 競 合 発 生 時 は ソ フ ト ウ ェ ア 実 装 で の 処 理 ( 従 来 の ロ ッ ク や ラ ッ チ ) TSX使用時のイメージ 通常の処理 OLTPでの同時実行性の制御
  29. 29. 30CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 30 SAP HANAにまつわる疑問5 インメモリーデータベースのSAP HANAって揮発性なんですよね?
  30. 30. 31CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 31 SAP HANAにまつわる疑問5 そうそう。シャットダウンすると全部消えて無くなります。 とかありませんから! インメモリーデータベースのSAP HANAって揮発性なんですよね?
  31. 31. 32CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 32© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話をする前に 一般的なデータベースの永続化 キャッシュ(バッファー) データ Tx Tx ログ ユーザーの要求により ディスク上のデータブ ロック or ページをキャッ シュに載せる 1 各トラザクションの更新 はキャッシュを直接更新 する 3 有限のキャッシュ領域を LRUで管理 2 更新の確定の前には必ずログ に更新履歴を同期書き込みで 書く(Write Ahead Log=WAL) 3 更新されたキャッシュは 遅延書き込みによりディ スク上に永続化される (Checkpoint) 4 基本的にディスク上 のブロックイメージ がキャッシュ上に存 在する LRU Tx
  32. 32. 33CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 33© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話 インメモリーといえどもデータベースの永続化はディスク インメモリーデータベース Tx Tx 各トラザクションの更新 はメモリーを直接更新す る 3 更新の確定の前には必ずログ に更新履歴を同期書き込みで 書く (Write Ahead Log=WAL) 3 更新されたデータは遅延 書き込みによりディスク 上に永続化される (Savepoint) 4 ディスク上のブロッ クイメージとインメ モリーデータベース のページイメージは 異なる テ ー ブ ル インメモリー データベース LRU データ ログ 起動時にディスク上のカ ラム全体 or ユーザー要求 によりデータページをメ モリーに載せる 1 Tx 有限のメモリー領域を LRUで管理(カラム or ペー ジ単位) 2
  33. 33. 34CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 34© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話 SAP HANAの永続化レイヤー パーシスタンスレイヤー(永続化レイヤー) HANAデータベースのストレージ管理、トランザクションログ 管理、システムリスタート時のリカバリー管理などを行う • データボリューム ✓ データとUndoを保持するストレージ領域 • ログボリューム ✓ トランザクションログ(REDO)を保持するストレージ領域 ✓ データベースの変更(トランザクション)ログを保存するエリア 同期、非同期によるディスクへの書き込み • セーブポイント(非同期) ✓ メモリー上の変更データをデータボリュームに書き込む(デフォルトで 300秒ごとの遅延書き込み) • コミット(同期) ✓ トランザクション確定のログエントリーを含むログバッファー上のデー タをログボリュームに書き込む メモリー ストレージ データベース ログボリューム データボリューム トランザクションログ (WAL)の書き出し - Log Buffer FULL - Commit/Rollback 定期的な自動 セーブポイント (Shadow Paging) SAP HANA UNDO DATAREDO Log Buffer Row Store Column Store ログセグメント ログセグメント ログセグメント
  34. 34. 35CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 35© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話 SAP HANAでのストレージへのI/Oパターンのまとめ シナリオ Data Volume Log Volume Backup Storage 書き込みトランザクション - WRITE OLTP – 概ね4KBのシーケンシャルI/O OLAP – より大きなI/Oサイズ (1 MBを上 限に可変) - セーブポイント、スナップショット、 デルタマージ WRITE 4 KB – 64 MB 非同期、並列I/O (データ量 はシステム負荷に依存) - - DB再起動、フェイルオーバー、テイ クオーバー READ 4 KB – 64 MB 非同期、並列I/O (データ量 はRow Storeのサイズに依存) READ 256 KB 非同期I/O - Column Storeのテーブルロード READ 4 KB – 16 MB 非同期、並列I/O - - データボリューム・バックアップ READ 4 KB – 64 MB 非同期I/O (バッファーサイ ズは512 MB) - WRITE 512 MB シーケンシャルI/O (設定可能) ログ・バックアップ - READ 4 KB – 128 MB 非同期I/O (バッファーサ イズは128 MB) WRITE 4 KB – 128 MB シーケンシャルI/O リカバリー WRITE 4 KB – 64 MB 非同期、並列I/O READ 256 KB 非同期I/O READ Data backup: 512 MBのバッファーI/O Log backup: 128 MBのバッファーI/O
  35. 35. 36CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 36 SAP HANAにまつわる疑問6 SAP HANAってエンタープライズ系 の機能(バックアップ、高可用性、 災害対策とか) ないんでしょ。
  36. 36. 37CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 37 SAP HANAにまつわる疑問6 実はエンタープライズど真ん中で 信頼性は抜群ですよ。 SAP HANAってエンタープライズ系 の機能(バックアップ、高可用性、 災害対策とか) ないんでしょ。
  37. 37. 38CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 38© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAのバックアップ、リカバリー 共通 – 圧縮データのため短時間で完了 – 3rdパーティー製バックアップツール利用可能 バックアップ – メモリー上のDBの永続化は通常運用中に行われる (セーブ ポイント) – フル、差分、増分バックアップ ▫ データボリュームのコピー(オンライン) – ログバックアップ (自動) ▫ ログボリュームのコピー (*1) (*1) バックアップは自動ですが、外部ストレージへの退避等は手動で実行する必要があります。 リカバリー – ポイントインタイムリカバリー可能 バックアップ 管理上のメリット ◼ バックアップカタログによる世代管理、整合性チェック ◼ ストレージ・スナップショットの利用も可能(HANAのスナップショットを利用して) リカバリー メモリー ストレージ データベース ログ ボリューム データ ボリューム Log Volume Data Volume Log Volume Data Volume ログ ボリューム データ ボリューム バックアップ メモリー ストレージ ログ ボリューム データ ボリューム Log Volume Data Volume Log Volume Data Volume ログ ボリューム データ ボリューム バックアップ メモリー上にロード (+ UNDO) REDO
  38. 38. 39CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 39© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの高可用性 Geo clusters ビジネスの継続性 データセンター内の 高可用性 データセンター間の ディザスタリカバリー SAP HANA Host Auto-Failover (Scale-Outのスタンバイ構成) SAP HANA System Replication SAP HANA Storage Replication SAP HANA System Replication
  39. 39. 40CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 40© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの災害対策 / 高可用性 SAP HANA System Replication HANA Worker Server HANA Worker Server HANA Worker Server HANA Standby Server HANA Worker Server HANA Worker Server HANA Worker Server Cluster ClusterLog shipping(*) Delta data shipping System Replication  HANA組込みのデータベースレプリケーション機能  自動での切り替え(Takeover)機能はないので、クラスターマネージャーと連携が必要
  40. 40. 41CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 41© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの災害対策 / 高可用性 SAP HANA System Replication : Replication mode セカンダリーと接続が失われるとプライマリーとの整合性の維持はしない セカンダリーと接続が失われても障害が回復されるまでプライマリも待ち状態 Synchronous(Fullオプション) プライマリー セカンダリー LogData Data Log ⚫ ログはセカンダリーサイ トに同期転送される ⚫ ログ転送は、セカンダ リーサイトのディスク保 存まで プライマリー セカンダリー LogData Data Log Synchronous ⚫ 正常時の動きは Synchronous(Fullオプ ション)と同様 Synchronous in memory ⚫ ログはセカンダリーサイ トに同期転送される ⚫ ログ転送は、セカンダ リーサイトでのメモリー 保存まで プライマリー セカンダリー LogData Data Log メモリ Asynchronous プライマリー セカンダリー LogData Data Log バ ッ フ ァ ー ⚫ ログはセカンダリーサイ トと接続されているネッ トワーク経路にログ転送 が開始されると完了。 ⚫ 非同期転送される TransactionBy e Transaction Transaction Transaction
  41. 41. 42CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 42© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの災害対策 / 高可用性 SAP HANA System Replication : Active/Active read enabled OS: DNS, hostname, Virtual IP HASolutionPartner HASolutionPartner Primary Name Server Index Server ログ ボリュー ム データ ボリュー ム Secondary Name Server Index Server ログ ボリュー ム データ ボリュー ム ② Log Shipping ① Initial Data Copy ③ HANA 2 SPS 00 〜 mode=logreplay_readaccess ④ 継続的に(プライマリーとは非同期)ログボリュームをリカバリー(リプレイ) SAP HANA Client Library アプリケーション I : Primaryに接続 Ⅱ : Secondaryに接続 I : Primaryに接続 Ⅱ : Secondaryに接続 認証 リソース及び処理内容から Primary/Secondaryでの実行を dispatch (Hint文でSecondary での実行を強制可能) 認証をPrimaryに依頼 必要に応じてSecondaryで クエリーを実行
  42. 42. 43CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 43 SAP HANAにまつわる疑問7 メモリーだけだと、そんなに多く のデータを管理できないよね?
  43. 43. 44CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 44 SAP HANAにまつわる疑問7 メモリーだけだと、そんなに多く のデータを管理できないよね? 大丈夫です。様々なデータ管理の 手法を提供しています。ビッグ データとの連携も可能ですよ。
  44. 44. 45© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering SAP HANA + Extended Table + SAP IQ + Hadoop 各ドメインの強みを生かしたデータ処理 • In-Memory Platform • リアルタイムでのOLTP/OLAP処理 • テキスト、地理情報などのへのネイ ティブな分析関数 • Diskベースのカラムストア • 高速かつ効率の高い圧縮 • データ定義、バックアップなどが HANAから透過的に実行可能 • TB〜PBまでの構造化データに対して クエリーが可能 • データの重複保持はしない • ネイティブなHANAの機能ではない • システムのデータの配置場所をIQに変更 • NLSとして読み込み専用ストレージとして 使用 • データにより異なるSLA要求に柔軟に対応 HANA Hot Dynamic Tiering Warm SAP IQ Cold • SDAによるHive/Sparkでの接続 • vUDFによる既存のMarReduceジョブの活 用 • vUDFはSQLとして実行も可能 Raw Hadoop
  45. 45. 46© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering 概要 SAP HANA Database System SAP HANA Hot store Table (Classical HANA Table) SAP HANA Warm store Table (Extended Table) 参照更新 参照更新 アプリケーション Hot storeから Warm storeに データを移動 Dynamic Tiering単体としては、HANAに統合された(とはいえ、単純な)ディスクベースのテーブルの 提供のみ(<= SPS12)。データの参照、更新、移動はアプケーション側の実装に依存。 データの場所(hot/warm)がアプリケーションから透過的ではない!
  46. 46. 47© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering Data Lifecycle Manager SAP HANA Database System SAP HANA Hot store Table (Classical HANA Table) SAP HANA Warm store Table (Extended Table) 参照更新 更新 アプリケーション Hot storeから Warm storeに データを移動 Data Warehousing Foundation Data Lifecycle Manager(DLM) Union View (HANA Calc View) DLMにより自動化が可能 DLMにより参照はアプリケーショ ンから透過的にすることが可能 データの参照に関しては、DLMによりアプリケーションから透過的。 データの更新に関しては、DLMを使用してもデータの場所(hot/warm)がアプリケーションから透過 的ではない! 参照 参照
  47. 47. 48© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering Multistore Table SAP HANA Database System SAP HANA Hot store Partition (Classical HANA Table/Partition) SAP HANA Warm store Partition (Extended Table/Partition) 参照更新 アプリケーション Hot storeから Warm storeに データを移動 (逆も) Partitioned Table (Multistore Table) データの参照/更新に関して、Multistore Tableによりアプリケーションから完全に透過的。 Part#1 Part#2 Part#3 Part#4 Partition単位でデータ移動 Part#5 Part#6 Part#7 Part#8
  48. 48. 49CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 49 SAP HANAにまつわる疑問8 SAP HANAは良いのだけど、既存に データベースがいっぱいあって、 統合するのは大変そう…
  49. 49. 50CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 50 SAP HANAにまつわる疑問8 SAP HANAは良いのだけど、既存に データベースがいっぱいあって、 統合するのは大変そう… そのためにデータ統合機能(仮想、 物理)もあります。 そもそも、全てをSAP HANAに置く必要はないかもしれませんよ。
  50. 50. 51CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 51© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services SAP HANA Virtual Physical ETL Virtual Model Real-Time No-Data movement Flexible data model Integration Service OData SAP IQ, SAP ASE, Oracle, SQL Server, Teradata … Data federation Real time/Batch ETL Streaming Service Remote Data Sync Streaming Lite (IoT Gateway) Device/Sensor SAL SQL Anywhere Ultra Lite SAL SQL Anywhere Ultra Lite SAL SQL Anywhere Ultra Lite 既存データ資産の保護とシステム構成のシンプル化 データ仮想化による仮想DWHの構築 Real-Time/BatchによるETLのサポート ストリームデータからリアルタイムをアクション Enterprise Architecture Designer: - ビジネス/ITプロセスで一貫性のあるモデリング Agile Data Preparation: - セルフサービスによるデータの準備、加工、品質 Smart Data Access: - 既存のデータベース、HadoopへのData Virtualization - 双方向の参照、更新のサポート Smart Data Integration/Quality: - 各アダプターにより既存データベース/APIからReal- Time/BatchによるETL/Replicationをサポート Smart Data Streaming: - 断続的にデバイスから送信されるストリーミングデー タをSAP HANAに蓄積される前に効率的に処理 - SAP HANAの前にゲートウェイとしてStreaming Liteを 配置可能 Remote Data Sync: - SAP HANAとSAP SQL Anywhereとの双方向同期 - 断続接続環境、低帯域ネットワーク環境のサポート
  51. 51. 52CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 52© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services Smart Data Access ベネフィット ⚫ ローカルテーブルのようにリモートデータへアクセスが可能 ⚫ 述語のプッシュダウン、他のデータベース上の各機能の補完 などのクエリの分析を含むスマートなクエリ処理 ⚫ データのある場所によらず開発が可能 ⚫ 異なるデータソースのアクセスに特別な構文は不要 データソース ⚫ Oracle, SQL Server, Teradata, DB2, Netezza ⚫ Hadoop – Hive (Hortonworks, Cloudera, MapR, etc.), Spark ⚫ SAP HANA ⚫ SAP Vora ⚫ SAP ASE, SAP IQ, SAP MaxDB, SAP SQLAnywhere, SAP ESP ⚫ Google BigQuery SAP HANA 3rd パーティーデータソース Netezza ビッグデータ Db2 SQL Server Oracle SAP HANA SAP ASE SAP IQ SAP ESP Teradata VirtualPhysical SAP HANA Smart Data Access データモデル
  52. 52. 53CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 53© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services Smart Data Integration 機能概要: ⚫ さまざまなデータ配信方式をサポート • データ仮想化 (フェデレーション) • リアルタイムレプリケーション (対応データソースのみ) • バッチ (ETL / ELT) ⚫ 他ターゲットへのデータの配布のサポート (双方向) ⚫ オンプレミス、クラウド、ハイブリットに対応する アーキテクチャの採用 ⚫ 直観的でわかりやすい Web ベースの設計ツール ⚫ オープンフレームワークの採用 • 一般的なソースに対するすぐに利用できるアダプタ • カスタムアダプタを作成するためのオープンなSDK Data Provisioning Agent(dpagent) SAP HANA Data Provisioning Server(dpserver) 非データベース アダプタ カスタムアダプタ (SDK) データベース アダプタ Smart Data Accessと違って、Server/Agent方式によりオンプレ/クラウド 連携や、Firewallを超えられないネットワーク環境でも柔軟にデータ連携 が可能 VirtualPhysical OData データベース ビッグデータ ファイル API連携 ソーシャル
  53. 53. 54CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 54© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services Hadoop Integration SAP HANA VirtualPhysical SAP HANA Smart Data Access データモデル Data Provisioning Server(dpserver) Data Provisioning Agent(dpagent) Hive Hadoopクラスター SAP HANA spark controller Spark SQL Hive ODBC Virtual UDF WebHDFS WebCAT Impala HDFS HDFS
  54. 54. 55CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 55 SAP HANAにまつわる疑問9 Hadoopといえば、SAPさんには、 ビッグデータのソリューションな いの?
  55. 55. 56CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 56 SAP HANAにまつわる疑問9 Hadoopといえば、SAPさんには、 ビッグデータのソリューションな いの? いっぱいあって説明が大変なくら いあります。。。
  56. 56. SAP Cloud Platform Big Data Services Ashburn, VA Santa Clara, CA St. Leon-Rot
  57. 57. SAP Vora Distributed Computing Cluster Files Vora Spark Extension Spark … Files Vora Spark Extension Spark Files Vora Spark Extension Spark Microsoft Azure Data Lake Store* Amazon S3 Apache Hadoop HDFS MapR-FS Kubernetes: オンプレミス or クラウド: Hadoop / Spark cluster 分散トランザクションログ Disk Based Relational データモデラー In-Memory Relational Time Series Graph Doc Store Kubernetes Cluster データ サイエンス 予測分析 ビジネス インテリジェンス レポーティング アプリケーション Vora 2.0系からHadoopは必須コンポーネント ではなくなりました。 SAP Vora Cloud Storage
  58. 58. SAP Data Hub • Orchestrate : デジタルランドスケープ内のデータを調整 してビジネス上の意思決定を促す • Integrate : SAP EIMポートフォリオによるデータ統合機能 とSAP Voraによるデータ処理を分散ランタイムとして統合 • Open : ビッグデータ中心のオープンなアーキテクチャー (Hadoop、Cloudストレージ、Kafka、機械学習…) • Innovative : Kubernetesに基づく革新的なサーバーレス・ コンピューティング アーキテクチャー エンタープライズ全体のデータ駆動型プロセスを統合
  59. 59. SAP Data Hub データ取得ツール スクリプト/コード データ準備ツール SAP HANA BI/BA データ オーケストレーション SAP Vora データ パイプライン • 分断されたシステムとツール • スクラッチでのコードやスクリプト • プロセスの自動化が困難 • ガバナンスとプロジェクトのスケール が困難 • アプリケーションに様々なデータを 提供可能 • ビジュアルモデリング(コーディング の必要なし) • プロセスの自動化とスケジュール • ガバナンスとデータ管理 SAP Data Hub センサーデータ エンタープライズ データ ヘルスケア データ 自動運転
  60. 60. 61CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 61 SAP HANAにまつわる疑問10 そもそも、SAP HANAって普通に SQLでアクセスするRDBMSなんで したっけ?
  61. 61. 62CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 62 SAP HANAにまつわる疑問10 そもそも、SAP HANAって普通に SQLでアクセスするRDBMSなんで したっけ? そう。でも、それだけじゃないん ですよ。
  62. 62. 63CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 63© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Advanced Analytical Processing Service Advanced Analytical Processing Service Hadoop(Text, Historical Data…), SAP Vora / SAP IQ, SAP ASE, Oracle, SQL Server, Teradata … R-Scripts PAL APL In-Database Analytics R-Engine C4.5 decision tree Weighted score tables Regression ABC classification KNN classification K-means Associate analysis: market basket SAP HANA Spatial, IoT, Stream Database Service Virtual Physical ETL Virtual Model Real-Time No-Data movement Flexible data model Graph Engine Spatial Engine Text Analysis Engine SQL Engine Series Engine 構造化データに縛られない様々なデータ処理 各エンジン間でシームレスな連携 Spatial Engine: - OGC準拠 - 地理空間の情報をデータベースの中で直接 保存、処理、生成、共有、取得 Graph Engine: - ACID準拠のスキーマフレキシブルなグラフ エンジン - Pattern Matching/Graph Algorithms Text Analysis Engine: - ファイルフィルタリング/エンティティの抽 出、分類/ドメインファクトの認識 Time Series Engine: - 効率的なシリーズデータの蓄積 - 等距離、非等距離のシリーズのサポート Document Store: - Schema on ReadのJSONドキュメントストア {JSON} Document Store EML Tensor Flow
  63. 63. 64CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 64© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER PAL (Predictive Analysis Library) Classification Analysis ▪ CART ▪ C4.5 Decision Tree Analysis ▪ CHAID Decision Tree Analysis ▪ K Nearest Neighbor ▪ Logistic Regression Elastic Net ▪ Back-Propagation (Neural Network) ▪ Naïve Bayes ▪ Support Vector Machine ▪ Random Forests ▪ Gradient Boosting Decision Tree (GBDT)* ▪ Linear Discriminant Analysis (LDA)* ▪ Confusion Matrix ▪ Area Under Curve (AUC) ▪ Parameter Selection / Model Evaluation Regression ▪ Multiple Linear Regression Elastic Net ▪ Polynomial, Exponential, Bi-Variate Geometric, Bi-Variate Logarithmic Regression ▪ Generalized Linear Model (GLM)* ▪ Cox Proportional Hazards Model* Association Analysis ▪ Apriori, Apriori Lite ▪ FP-Growth ▪ KORD – Top K Rule Discovery ▪ Sequential Pattern Mining* Probability Distribution ▪ Distribution Fit/ Weibull analysis ▪ Cumulative Distribution Function ▪ Quantile Function ▪ Kaplan-Meier Survival Analysis Outlier Detection ▪ Inter-Quartile Range Test (Tukey’s Test) ▪ Variance Test ▪ Anomaly Detection ▪ Grubbs Outlier Test Recommender Systems ▪ Factorized Polynomial Regression Models** ▪ Alternating least squares**** ▪ Field-aware Factorization Machines (FFM) **** Social Network Analysis Algorithms ▪ Link Prediction - Common Neighbors, Jaccard’s Coefficient, Adamic/Adar, Katzβ ▪ PageRank * New in HANA 2 SPS 00 ** New in HANA 2 SPS 01 *** New in HANA 2 SPS 02 **** New in HANA 2 SPS 03 Statistical Functions ▪ Mean, Median, Variance, Standard Deviation, Kurtosis, Skewness ▪ Covariance Matrix ▪ Pearson Correlations Matrix ▪ Chi-squared Tests: - Test of Quality of Fit - Test of Independence ▪ F-test (variance equal test) ▪ Data Summary* ▪ ANOVA** ▪ One-sample Median Test** ▪ T Test** ▪ Wilcox Signed Rank Test** Data Preparation ▪ Sampling, Binning, Scaling, Partitioning ▪ Principal Component Analysis (PCA)/PCA Projection ▪ Factor Analysis ▪ Multi dimensional scaling Other ▪ Weighted Scores Table ▪ Substitute Missing Values Cluster Analysis ▪ ABC Classification ▪ DBSCAN ▪ K-Means/Accelerated K-Means** ▪ K-Medoid Clustering ▪ K-Medians ▪ Kohonen Self Organized Maps ▪ Agglomerate Hierarchical ▪ Affinity Propagation ▪ Latent Dirichlet Allocation (LDA) ▪ Gaussian Mixture Model (GMM) ▪ Cluster Assignment Time Series Analysis ▪ Single/Double/ Brown/Triple Exp. Smoothing ▪ Forecast Smoothing ▪ Auto – ARIMA/Seasonal ARIMA ▪ Croston Method ▪ Forecast Accuracy Measure ▪ Linear Regression with Damped Trend and Seasonal Adjust ▪ Test for White Noise, Trend, Seasonality ▪ Fast Fourier Transform (FFT)* ▪ Correlation Function* ▪ Hierarchical Forecast
  64. 64. 65CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 65© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER EML (External Machine Learning) ▪ TensorFlowは、機械学習のための一般的なフ レームワーク(Googleが開発し、現在はオープ ンソース) ▪ ノードが演算を表し、エッジがデータ配列を表 すデータフローグラフ ▪ C/C++がバックエンド, Python APIなど ▪ ハードウェアアクセラレータ(GPU/TPU)と分散 処理をサポート ▪ 画像処理、言語処理などのディープラーニング を組み込みでサポート ▪ 機械学習モデルをサービスとして公開する TensorFlow Servingを提供 SQL / SQLScript Stored Procedure S A P H A N A P L A T F O R M Serving
  65. 65. 66CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 66 SAP HANAにまつわる疑問11 そういえば、メモリー関連で最近 新しいデバイスが出るらしいね。 SAP HANAとして対応は?
  66. 66. 67CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 67 SAP HANAにまつわる疑問11 そういえば、メモリー関連で最近 新しいデバイスが出るらしいね。 SAP HANAとして対応は? あー、あれですね。きっちり準備 していて、すでに対応済みですよ。
  67. 67. 68PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 68 SAP HANA2 SPS03 SAP HANA不揮発メモリー*のネイティブサポート * ハードウェアに依存 Benefit ビジネス継続性の向上によりさら に低いTCOでより多くのデータを リアルタイム処理が可能 Persistent Memory non-volatile Data Reliability faster starts Higher Capacity than DRAM Transforming the memory hierarchy 従来のメモリー技術と比較して、より 大きなメモリー領域 より低いTCOでハイパフォーマンスの メモリー ダウンタイムを小さくするための高速 な起動時間 Intel®との共同開発 より低いTCOでより高い容量を提供する新しいイノベーションを活用するためのゲームの変革 12.5x 起動時間の短縮** ** SAP HANAの6TBデータセットで測定された内部ベンチマーク > 3 TB 1CPUあたりのメモリー容量の増大
  68. 68. 69PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 69 Persistent MemoryのHANAでの利用イメージ ▪ SAP HANA 2.0 SPS03では、不揮発メモリーをサポート 例) Intel Optane DC Persistent Memory (aka. Intel 3D Xpoint) – PCI Expressインターフェースではなく、DIMMフォームファクター (DDR4互換) ▪ カラムストアのメインストレージに不揮発メモリーを利用 – メインストレージにSAP HANAの実データの95%以上が格納される – Database、Table、Column、Partitionのレベルで不揮発メモリーを使う か否かの設定可能(PERSISTNET MEMORY ON|OFF句) – メインストレージを永続化レイヤーからロードする必要がなくなるた め、再起動が非常に高速化(=可用性の向上)される。 – DRAMと比較して、TCOが低い(容量が大きく、低価格) ▪ 永続化レイヤーに変更なし(既存の運用に変更の必要なし) ▪ 現時点で不揮発メモリー自体はリリースされていません Disk DATA LOG In-memory data storage Row Store Column Store Main Delta DRAM SSD © Intel NVRAM Operational
  69. 69. 70PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 70 Intel + Google + SAPのリリース@Google Next 2018 https://twitter.com/LeukertB/status/1021477716644618241
  70. 70. 71CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 71 SAP HANAにまつわる疑問12 SAP HANAってアプライアンスだか ら、興味があっても簡単に触れな いんだよね…
  71. 71. 72CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 72 SAP HANAにまつわる疑問12 SAP HANAってアプライアンスだか ら、興味があっても簡単に触れな いんだよね… 確かにアプライアンスの提供形態 もありますが、エンジニアが簡単 に試せる環境もいろいろ用意して ますよ。
  72. 72. 73PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 73 SAP HANA, express edition SAP HANA, express edition ▪ 素早く、継続的なアプリケーション開発に最適化され た(シンプルな)バージョンのSAP HANA ▪ ラップトップ、デスクトップコンピュータ用に 仮想マシンのイメージ、サーバー上でネイティ ブモジュールのインストール、またはクラウド で利用可能な柔軟なデプロイオプション ▪ SAP HANAを無料で提供することで、革新的な次 世代アプリケーションとトライアルを実現
  73. 73. 74PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 74 SAP HANA, express edition SAP HANAへの無料アクセス ▪ 32 GBのメモリーサイズまでは無料で利用 可能です。(商用、非商用) ▪ 以下からアクセス可能 – ラップトップ、デスクトップ、サーバー (最低 16 GBメモリーを推奨) – SAP Cloud Appliance Library(CAL) (AWS or Azure) – Public Cloud (AWS, Azure, GCP …) ▪ SAP Communityによるコミュニティ サポート 必要に応じて柔軟に拡張 ▪ 128 GBのメモリーサイズまでは追加料金 により拡張可能。(商用、非商用) ▪ 必要な場合は、上位エディションにアップ グレードが可能 – 128 GB以上のキャパシティーが必要に なった場合 – 上位エディションでサポートされる機能 が必要になった場合 素早いアプリケーション開発 ▪ SAP開発者コミュニティのチュートリアル とサンプルコード ▪ JDBC, ODBC, .Netなどオープンなインター フェース、接続プロトコル、開発言語の使 用 ▪ SAP HANAに組み込まれたデータベース、 データ分析、アプリケーション、データ 統合サービスを活用する ▪ 開発者のPCでいつでもどこでもアプリ ケーションを構築可能
  74. 74. 75PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 75 SAP HANA, express edition 柔軟なデプロイ先 1. SAP Developer CenterからSAP HANA, express edition Download Managerをダウンロード https://www.sap.com/japan/developer/topics/sap-hana-express.html 2. インストールするモジュールのタイプを選択(バイナ リ or 仮想マシンイメージ) * 最低8GB程度のメモリーが必要です 3. SAP HANA, express editionをダウンロード 4. ラップトップ、デスクトップ、PCサーバーなどに デプロイ ダウンロード & インストール クラウド上で使う  SAP Cloud Appliance Library(CAL)からアクセス → SAPからクラウドベンダーにアクセス http://cal.sap.com * 各クラウドベンダーへのサービスには別途費用がかかります* インストールする先のハードウェアは無料の範囲ではありません  クラウドベンダーのサービス/Market Placeとし てSAP HANA, express editionをサポート* * 2018.06時点
  75. 75. 76PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 76 SAP HANA, express edition 2種類のインストールパッケージ バイナリパッケージ ▪ SUSE Linux Enterprise Server (SLES) for SAPもしくは Red Hat Enterprise Linux (RHEL) for SAPに、SAP HANA, express editionをインストールするための パッケージ ▪ (追加で)SAP HANA XSA (Extended Application Services, advanced model)をインストール 仮想マシンイメージ ▪ WindowsやMacにSAP HANA, express editionを簡単 にデプロイするためにSLES for SAPを含んだ仮想マ シンイメージ ▪ 選択可能なイメージ: – SAP HANA server only – SAP HANA server + application (SAP HANA XSA)
  76. 76. 77PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 77 SAP HANA, express edition 各種パッケージの選択方針のまとめ
  77. 77. 78PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 78 使ってみる? SAP HANA, express edition
  78. 78. Thank you!
  79. 79. No part of this publication may be reproduced or transmitted in any form or for any purpose without the express permission of SAP SE or an SAP affiliate company. The informationcontained herein may be changed without prior notice. Some software products marketed by SAP SE and its distributors contain proprietary software components of other software vendors. Nationalproduct specifications may vary. These materials are provided by SAP SE or an SAP affiliate company for informational purposes only, without representation or warranty of any kind, and SAP or its affiliated companies shall not be liable for errors or omissions with respect to the materials. The only warranties for SAP or SAP affiliate company products and services are those that are set forth in the express warranty statements accompanying such products and services, if any. Nothing herein should be construed as constituting an additionalwarranty. In particular, SAP SE or its affiliated companies have no obligation to pursue any course of business outlined in this document or any related presentation, or to develop or release any functionality mentioned therein. This document, or any related presentation, and SAP SE’s or its affiliated companies’ strategy and possible future developments,products, and/or platform directions and functionality are all subject to change and may be changed by SAP SE or its affiliated companies at any time for any reason without notice. The information in this document is not a commitment, promise, or legal obligationto deliver any material, code, or functionality. Allforward-looking statements are subject to various risks and uncertainties that could cause actual results to differ materially from expectations. Readers are cautioned not to place undue reliance on these forward-looking statements, and they should not be relied upon in making purchasing decisions. SAP and other SAP products and services mentioned herein as well as their respective logos are trademarks or registered trademarks of SAP SE (or an SAP affiliate company) in Germany and other countries. All other product and service names mentioned are the trademarks of their respective companies. See http://global.sap.com/corporate-en/legal/copyright/index.epx for additional trademark informationand notices. © 2018 SAP SE or an SAP affiliate company. All rights reserved.

×