More Related Content
Similar to [D13] 次世代型インメモリデータベース SAP HANA その最新技術を理解する by Toshihisa Hanaki
Similar to [D13] 次世代型インメモリデータベース SAP HANA その最新技術を理解する by Toshihisa Hanaki (20)
More from Insight Technology, Inc.
More from Insight Technology, Inc. (20)
[D13] 次世代型インメモリデータベース SAP HANA その最新技術を理解する by Toshihisa Hanaki
- 7. OLTP、OLAP そして HW の高速処理を結合
Yesterday
複雑、重複、分断
SAP HANA
簡単、シンプル、リアルタイム
cache
オンライン処理
分析
高速化
Ÿ 複数個所でのデータコピー
Ÿ 異なるデータモデル
Ÿ 分断されたシステム構成
© 2013 SAP AG. All rights reserved.
OLTP
+ OLAP
In-memory
acceleration
Ÿ 待ち時間不要
Ÿ シンプルで少ないH/W構成
Ÿ 新たな可能性を創造
7
- 12. 最新のハードウエア&ソフトウェアアーキテクチャ
DBMSの再設計による遅延時間の低減
Multi-Core Architecture
64bit address space
8 CPU x 10 Cores per blade
1 TB in current servers
Massive parallel scaling with many blades
Dramatic decline in price/performance
CPU
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
メモリー
カラムストアによる
OLTP+OLAP サ
ポート
パーティショニング
デルタ領域へ
インサートONLY
集計テーブルなし
(Dynamic Aggregation)
圧縮
Logging and Backup
ストレージ
Solid State
© 2013 SAP AG. All rights reserved.
Flash
HDD
13
- 13. カラム & ローストア
Ÿ 一般的なDBはローストア; SAP HANAは両方をサポートし、カラムストアに最
適化されている
Country
France
Italy
Italy
Spain
Product
corn
wheat
corn
rice
456
corn
1000
457
Italy
wheat
900
458
Sales
1000
900
600
800
France
Italy
corn
600
459
Order
456
457
458
459
Spain
rice
800
Row order organization
456
457
458
459
France
Italy
Italy
Spain
corn
wheat
corn
rice
1000
900
600
800
Σ
Single-record access:
SELECT * FROM SalesOrders
Single-scan aggregation:
WHERE Order = ‘457’
SELECT Country, SUM(sales) FROM
SalesOrders WHERE Product=‘corn’
GROUP BY Country
Column order organization
© 2013 SAP AG. All rights reserved.
14
- 14. データ圧縮
1次圧縮としての辞書圧縮
例:カラム辞書圧縮
Ÿ カラム単位で辞書を作成
Ÿ 逆インデックスの参照も可能
テーブル
ROW
ID
辞書
国
商品
売上
5
注文
No
456
457
458
459
460
France
Italy
Spain
Italy
Denmark
corn
wheat
rice
rice
corn
1000
900
600
800
500
6
461
Denmark
rice
600
7
462
463
Belgium
Italy
rice
rice
600
1100
…
…
…
…
1
2
3
4
8
© 2013 SAP AG. All rights reserved.
1
2
3
4
5
Belgium
Denmark
France
Italy
Spain
Dictionary
5 entries, so
need 3 bits to
encode!
圧縮されたカラム
(bit fields)
逆インデックス
1
2
3
4
5
6
7
8
3
4
5
4
2
2
1
4
…
…
注文No 460は
どこの国です
か?
1
2
3
4
5
7
5,6
1
2,4,8
3
イタリアの注
文Noはどれで
すか?
15
- 15. データ圧縮
2次圧縮
例:Columnnar Run-length Encoding
Ÿ カラムメモリ内の繰り返し値を圧縮
Ÿ ソート済カラムで有効に動作
国
Logical Table
ROW
ID
1
2
3
4
5
6
7
8
注文No
456
457
458
459
460
461
462
463
国
商品
売上
France
corn
1000
Italy
wheat
900
Spain
rice
600
Italy
rice
800
Denmark
corn
500
Denmark
rice
600
Belgium
rice
600
Italy
rice
1100
…
…
…
…
1
2
3
4
5
Belgium
Denmark
France
Italy
Spain
3
4
5
4
2x2
1
4
商品
1
corn
2
wheat
3
rice
1
2
3x2
1
3x3
…
…
© 2013 SAP AG. All rights reserved.
16
- 17. 並列列処理理
Ÿ 単一SQLを内部で並列化
Ÿ 同時アクセスユーザ
Ÿ クエリ内の同時実行オペレー
ション
垂
直
Ÿ データパーティショニングを
方
単一ホストもしくは複数ホストで 向
実行。
Ÿ 単一クエリをマルチコア・スレッ
ドを利用して
垂直方向及び水平方向への並
列化
© 2013 SAP AG. All rights reserved.
水平方向
quant.
150
60
100
45
75
84
96
162
45
366
type
43
12
12
33
33
12
32
43
12
33
core
1
sales
$1000
$900
$600
$800
$500
core
2
$750
$600
$600
$1100
$450
$2000
パーティションA
core
3
パーティションB
core
4
18
- 19. データとアプリケーションのシンプル化
リアルタイムコンピューティングのデザインパターンをソフトウェアアーキテクチャ全体で実現
シンプル化
集中化
最適化
OLTP + OLAP
in Columnar database
End-to-end
Data Processing
Application
Processing
Predictive
Prescriptive
Machine
Learning
Operational
Analytics
Application Layer
Sentiment
Intelligence
SAP HANA
In-Memory
Database layer
(Main Memory)
SAP HANA
(Main Memory)
Libraries
SAP HANA
(Main Memory)
Transactions
Sensors
Spatial/GIS
•
© 2013 SAP AG. All rights reserved.
アプリケーションサーバ
計画エンジン、計算エンジン
•
Text
•
•
Graph
データベース&データ処理エンジン
統計・予測・ビジネス関数ライブラリ
20
- 20. SAP HANA プラットホーム – データベースを超えて
様々なデバイ
スのサポート
様々なアプリ
様々な
アプリケーションサーバ
SAP Business Suite
and BW ABAP App Server
SQL
MDX
R
JSON
Open Connectivity
SAP HANA プラットホーム
SQL, SQLScript, JavaScript
地理情報
テキストサーチ
テキストマイニング
ストアドプロシージャ
& データモデル
アプリケーション &
UIサービス
ビジネスファンクショ
ンライブラリ
予測分析ライブラリ
データベース
サービス
計画エンジン
ルールエンジン
インテグレーションサービス
トランザクション
非構造化データ
マシンデータ
HADOOP
リアルタイムデータ
位置情報データ
その他アプリ
SAP HANA プラットホームは、データベース、データ処理、アプリケーション基盤を統合し、予
測分析、計画、テキスト分析、地理情報、ビジネスインテリジェンスの機能を提供することにより、
リアルタイムなビジネスを実現します
© 2013 SAP AG. All rights reserved.
21
- 21. SAP HANA Native Application Basics
– Presentation logic
o GUI定義、操作イベント処理
o クライアント(ブラウザ、携帯電話、タブレットPC、
etc)で処理
– Control flow logic
o アプリケーション全体の制御ロジック
o アプリケーション・プログラム(XS、アプリケーショ
ンサーバ)で処理
– Calculation logic
o データの抽出/検索、集約、統計分析など
o SAP HANAで処理
© 2013 SAP AG. All rights reserved.
22
- 22. SAP HANA – アプリケーションのデータレイヤへの統合
機能
説明
インフォメーションビュー OLAP
(HANA View)
多次元キューブの定義、運用
アプリケーションサーバ
スクリプト
文字型カラムに格納された文字列に対
する全文検索、テキスト分析
TBD
統計分析モデルに基づく将来動向の
予測
R統合
© 2013 SAP AG. All rights reserved.
テキスト検索
予測分析
計画中!
SQLの拡張による多様なロジックの記
述
数学ライブラリ
T
Webアプリケーションの開発実行
R言語による既存分析ルーチンの利用
SAS統合
HANA上でSASの分析を実行する!
23
- 24. AFL(Application Function Library)とは?
AFLテクノロジーの構成
– Application Function
o SAPからAFLとして提供される、C++で記述さ
れた関数群
o Pridictive Analysis LibraryとBusiness
Function Librarayがリリース済み(SPS05)
– AFLフレームワーク
o SAPが提供しサポートするライブラリを実行時
にHANAにロードするためのフレームワーク
o AFLは、SQLScriptからラッパープロシージャを
介して呼び出される。実行には、特別な権限が
必要。
o SPS5まではスクリプトベースのアプローチで
あったが、SPS6でApplication Function
Modelerがリリースされ、GUIでラッパープロ
シージャの生成、実行ワークフローの定義を行
えるようになった
© 2013 SAP AG. All rights reserved.
25
- 25. Predictive Analysis Library (PAL)
迅速な開発支援するHANAネイティブな予測分析アルゴリズムライブラリ
§ Predictive Analysis Libraryとは?
§ SAP HANAに組み込まれた予測関数群
§ クラスタリング、分類、関連性、時系列、加重平
均等の予測関数群の機能を組み込み
§ PALの関数リストはHANAのマニュアルで提供
されます
§ Predictive Analysis Library の価値は?
§ PALは、HANA上でのアプリケーション開発者
に短期間でのアプリケーション開発を提供し、
あわせて顧客にHANAの投資に対する迅速な
リターンを提供
§ 大規模メモリ並列処理を活用した優れた性能
を提供
§ PMMLエクスポート機能サポート
© 2013 SAP AG. All rights reserved.
PALアルゴリズムの⼀一例例
分類
データ前処理理
q C4.5 デシジョンツリー
q サンプリング
q CHAID デシジョンツリー
q ビニング
q 指数回帰分析
q スケーリング
q k-‐‑‒近傍分類法
q 四分位範囲テスト
q 重回帰分析
q 多項回帰分析など
クラスタリング
アソシエーション
q アプリオリ
q 異異常検出
その他
q K-‐‑‒means
q ABC分析
q ⾃自⼰己組織化マップ
q 加重スコアテーブル
時系列列
q ⼀一次指数平滑滑法
q ⼆二次指数平滑滑法
q 三次指数平滑滑法
26
- 26. PALの使用方法(AFMベースの開発、SPS6)
AFM(Application Function Manager)
– AFLのラッパープロシージャ及び事項
ワークフローの開発ツール
– 定義から実行までGUIで作業可能
– SQLを生成するため、バッチ的実行可
能
使用環境
– HANA Studio、HANA Client(Regi)
– AFLインストール済み
– ユーザ
o ロール:AFL__SYS_AFL_AFLPAL
o Object Privilege:REPOSITORY_RESET
o Package Privilege:REPO_PACKAGE_ROOT
– XSを使用する
© 2013 SAP AG. All rights reserved.
27
- 27. Business Functional Library(BFL)
金融関連のビジネスロジック
HANAアプリの迅速な開発を支援するHANAネイティブビジネス機能ライブラリ
Business Functionの⼀一例例
§ Business Function Libraryとは?
§ SAP HANAに組み込まれたビジネス向け関
数群
q Annual Depreciation
q Lease
q Cumulate
q Linar Average
§ 例としては、減価償却、在庫最適化、年別
(Year on Year)や遅延等の時間ベースの関
数等のビジネスで用いる計算処理を組み込
み
q Cycles
q Max Value
q Days
q Delay Stock
q Moving Average &
Moving Sum
q Discounted Cash Flow
q Net present Value
q Driver
q Outlook
§ Business Function Libraryの価値は?
q Feed
§ BFLは、HANA上でのアプリケーション開発者
に短期間でのアプリケーション開発を提供し、
あわせて顧客にHANAの投資に対する迅速
なリターンを提供
q Forecast Agents
§ 大規模メモリ並列処理を活用した優れた性能
を提供
© 2013 SAP AG. All rights reserved.
q Forecast Driver
q Payment
q Proportion
q Rate
q Funds
q Seasonal Complex
q Future
q Stock Flow
q Grow
q Time
q Lag
q Volume Drive
28
- 30. SAP HANA Extended Application Services (SAP HANA XS)
SAP HANAプラットフォーム上での迅速なアプリケーション開発とデプロイの
ためのネイティブサービス
§ SAP HANA内のアプリケーションサービス
§ 迅速なアプリ開発とデプロイ
§ SAP HANA上で直接実行する軽快なハイパフォーマ
ンスアプリへ最適化
§ オープンかつ柔軟な開発環境
§ JavaScript,SQLScriptおよびHANA Viewベースアプリ
の開発環境
§ ODATA, JSON, XMLA インターフェース
§ HTML5 / SAPUI5 およびポータルサービス
§ HTTP / SMTP による通信
§ リポジトリブラウザとプロジェクトエクスプローラーに
よるチーム開発のためのコラボレーション環境
§ アプリケーションエコシステムの最小化
§ アプリのデプロイのための“レイヤ”最小化による
TCO削減
§ SAP HANA上で直接動作
© 2013 SAP AG. All rights reserved.
31
- 31. SAP HANA Smart Data Access
オンプレミスとクラウド間の仮想データ統合
Benefits
Transactions + Analytics
Ÿ 手元のDBサーバに存在するかのよ
うに、リモートデータにアクセス可能
Ÿ スマートクエリー処理−クエリーを分
割し、可能な限りリモート側でデータ
処理を行い、HANAに小さなデータ
セットを返す
Ÿ データの実在場所を意識せずにアプ
リケーション開発が可能
Ÿ 特殊なコマンドやシンタックス無しで
リモートデータにアクセス可能
SAP HANA
HANA Tables
Virtual Tables
Heterogeneous data sources
IQ
Teradata
ASE
Hadoop
SAP HANA
© 2013 SAP AG. All rights reserved.
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
SAP HANA to Hadoop (Hive)
Teradata
SAP Sybase ASE
SAP Sybase IQ
Oracle
Ÿ SQL Server
32
- 35. スケールアウト構成
リクエスト
スケールアウト構成
Ÿ 疎結合構成
Ÿ N+1
Ÿ 稼働ノードがフェール
すると、待機ノードに
データベースが引き
継がれる
メリット
Ÿ 1ノード分のメモリー
量を超えた大容量の
データベースを構築
可能
Ÿ ロードバランス
Ÿ オートマチックフェー
ルオーバー
© 2013 SAP AG. All rights reserved.
node01
node02
node03
node04
backup
SAP
SAP HANA DB
DB partition 1
DB partition 2
DB partition 3
-‐‑‒ SAP HANA DB
master node
-‐‑‒ SAP HANA DB
backup master
-‐‑‒ SAP HANA DB
hot-‐‑‒standby
-‐‑‒ SAP HANA DB
shared filesystem
HDD
flash
HDD
flash
HDD
flash
HDD
flash
36
- 36. SAP HANA システムレプリケーション
Disaster Tolerance: WARMスタンバイ
Data Center 1
Data Center 2
OS: DNS, hostnames
Primary
(active)
Nam
e
Serv
er
Inde
x
serv
er
Nam
e
Serv
er
Inde
x
serv
er
Nam
e
Serv
er
Inde
x
serv
er
Secondary
Transfer
by
HANA
database
kernel
(active, data pre-loaded)
Name
Serve
r
Name
Serve
r
Name
Serve
r
Index
server
Index
server
Index
server
HA Solution Partner
アプリケーション
サーバ
HA Solution Partner
クライアント
OS: Mounts
Data
Data
Volumes Volumes
Log
Volume
© 2013 SAP AG. All rights reserved.
Data
Data
Volumes Volumes
Log
Volume
Log
Volume
Log
Volume
Planned Innovation: This is the current state of planning and may be changed by SAP at any time.
37
- 38. 管理、開発環境 SAP HANA Studio
Eclipseベースのデータベース管理ツール兼開発環境
多次元分析モデル
PAL
© 2013 SAP AG. All rights reserved.
JavaScript
BFL
HTML5 GUI
地理情報データ
SQLスクリプト
MDX
フルテキストサーチ
データベース管理
41
- 39. SAP HANA Appliance
SAP HANA Technology Partners
SAP HANA Hardware Partners
SAP HANA Cloud Offering
© 2013 SAP AG. All rights reserved.
42
- 40. SAP HANA Tシャツモデル -ハードウェア構成ー
n
シングルノード構成
全シナリオで適用可能モデル
Suite on HANAのみの
モデル
XS
M
L
L
L
CPU
20Core
20Core
40Core
80Core
40Core
80Core
メモリ
n
S
128GB
256GB
512GB
1TB
1TB
2TB or 4TB
スケールアウト構成
XL
CPU
20Core
40Core
80Core
メモリ
256GB
512GB
1TB
Max Node数
16Node
16Node or
56Node
*2013/5/29時点の情報になりま
す。
56Node
© 2013 SAP AG. All rights reserved.
43
- 41. SAP HANA One on AWS Developer Edition
開発検証用は、HANAライセンスは無償で利用可能
SAP HANAの開発がAWS上で可能に。
現在、使用可能なインスタンスタイプは3つ
HANAライセンスは無償。AWS EC2費用は、$0.62/hr 〜
Virtual
CPU’s
Memory
(GB)
Storage
(GB)
m2.xlarge
2
17.1
154
m2.2xlarge
4
34.2
154
m2.4xlarge
8
68.4
154
Size
東京リージョンでも利用可能。
HANA StudioをWindows on EC2で利用する事によって、開発環境を全てAWSで構築!
下記URLから利用可能
http://scn.sap.com/docs/DOC-28294
© 2013 SAP AG. All rights reserved.
44
- 44. SAP HANA Cloud Offerings
On-Premise
Cloud
SAP HANA
Appliance
SAP HANA
One
SAP HANA: SAP HANA: SAP HANA;
Infrastructure Platform as a Managed
Subscription Service
Services
概要
オンプレミス型アプ
ライアンスで提供
パブリククラウドで
利用可能なフル機
能版
ライセンス所有を
前提としたクィック
配備&運用
SAP HANAの
PAAS版
SAP HANAマネッ
ジドサービス
プロバイダー
ハードウェアパート
ナー
Amazon Web
Services
SAP, Amazon
Web Services
(AWS), Savvis
SAP
SAP
ユースケース
リアルタイム分析&
基幹システムプ
ラットホーム
テキスト分析、グラ
フ、予測分析など
を活用した次世代
アプリケーション
カスタムアプリケー
ション、データマー
トの本番システム
カスタムアプリケー
ション、データマー
トの本番システム
段階的な拡張が予
想されるアプリ
ケーション
クラウド、オンプレ
ミスアプリケーショ
ンの拡張
部門アプリケー
ション
消費者向けモバイ
ルアプリケーション
SAP Business
Suite on HANA
SAP BW on
HANA
カスタムアプリケー
ション
大規模POC、マイ
グレーション
メモリー量
シングルノード
64GB-1TBまたは
スケールアウト構
成
60GB、
16vCPU(cc2.8xla
rge)
SAP:128GB-1 TB
AWS:
244GB-1.44TB
1GB-750GB
顧客要件による
© 2013 SAP AG. All rights reserved.
47
- 46. 11月15日(金)
Session4 14:00-14:45
B35:SAP Sybase IQ, Hadoop
11月15日(金)
Session5 15:00-15:45
B35:SAP HANA
[ゴルフダイジェスト・オンライン]
進化するデジタルマーケティングを⽀支
えるビッグデータ活⽤用基盤
SAP国内外事例例に⾒見見る
ビッグデータ・イノベーション
株式会社ゴルフダイジェスト・オンライン
SAPジャパン株式会社
嘉松孝友 様
© 2013 SAP AG. All rights reserved.
佐宗 ⿓龍龍
49