【SAP Inside Track Tokyo 2021 DAT】HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと

1. 2021年3月3日長嶋昌由（ナガシマヒサヨシ）株式会社KYOSO ビジネスソリューション事業部大阪開発マネージャ― HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと SAP Inside Track 2021 TOKYO

2. 2 名前：長嶋昌由（ナガシマヒサヨシ）会社：株式会社KYOSO 部門：ビジネスソリューション事業部ビジネスソリューショングループ役割：大阪開発マネージャ SAP Certified Development Associate (CP11, FIORIDEV20) データベーススペシャリスト／情報処理安全確保支援士趣味：ロードバイク、マラソン参加目的：SAP Cloud Platform全般の情報収集等

3. 3 参加者の皆様にセッション前質問質問：自社又は顧客先のHANA等のデータベース環境にて、えっ！っと驚いたテーブル定義や設定等ありましたら教えて下さい。回答タイプ：自由テキスト

4. 4 1. 技術事例としての背景・概要 2. 気を付けるべきことその① 3. 気を付けるべきことその② 4. 気を付けるべきことその③ 5. 気を付けるべきことその④ 6. 最後に（まとめ） 7. おまけ HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと

5. 5 １．技術事例としての背景・概要 SAP Analytics Cloud Model Dataset DPServer Cloud connector インポート接続オンプレHANA testdata.xsodata OData Service 対象ViewをOdataサービス化 SACConnectionTEST /testview testTable オンプレHANA上に対象Viewを作成 View Table ①蓄積してきたHANA DBの業務データをSAP Analytics Cloudで見える化・分析する。 ②HANA DBのバージョンがLiveConnectionに対応していない為、CloudConnectorによるデータインポートの方式を選択している。 ③CloudConnectorはAWS上にDPServerを構築し、経路を構成する。

6. 6 １．技術事例としての背景・概要 ①蓄積してきたHANA DBの業務データをSAP Analytics Cloudで見える化・分析する。 ②HANA DBのバージョンがLiveConnectionに対応していない為、CloudConnectorによるデータインポートの方式を選択している。 ③CloudConnectorはAWS上にDPServerを構築し、経路を構成する。 EC2 Windows Server2016 Internnet Gateway public subnet CloudConnector SACAgent HANA Studio

8. 8 ２．気を付けるべきことその①（テーブル構造について）数字で始まるカラム名を持つテーブルはありませんか？ “COLUMN_1”, “COLUMN_2”, “COLUMN_3”, “4_COLUMN”, “COLUMN_5”, ・・・ Unsupported property name エラーが発生します。 × テーブルのカラム名が数字で始まる場合はoDataサービス設定ができない

9. 9 ２．気を付けるべきことその①（テーブル構造について）解決策：Viewでカラム名に別名を付与する。 “COLUMN_1”, “COLUMN_2”, “COLUMN_3”, “4_COLUMN”, “COLUMN_5”, ・・・ “COLUMN_1”, “COLUMN_2”, “COLUMN_3”, “4_COLUMN” as “COLUMN_4“, “COLUMN_5”, ・・・〇 oDataサービス設定成功

11. 11 ３．気を付けるべきことその②（テーブル構造について）カラム数がやたらに多いテーブルはありませんか？ × SAC側で1テーブルのoDataサービスクエリで設定できるカラムは100個までですカラムは100個までしか指定できません！

12. 12 ３．気を付けるべきことその②（テーブル構造について）解決策①：oData/Modelの複数処理→SAC側Storyでの結合〇・同一のキー項目を持ったモデル間であれば、Story上で混合チャートを作成する事が可能・混合チャートにおける列数制限は特に明記されていない参考１：SAP Analytics Cloud ヘルプ：混合チャートの作成 https://help.sap.com/viewer/00f68c2e08b941f081002fd3691d86a7/release/ja-JP/b247489e0da245d9ba1eafcf393cd98b.html

13. 13 ３．気を付けるべきことその②（テーブル構造について）解決策②：対象カラムの絞り込み・テーブルの正規化〇 ③テーブルの設計を見直し、正規化する（複数テーブル化）テーブルの設計は適正ですか？対象のカラムを選別・限定する ①SAC側での対象のカラム選択で対象を 100個以内にする ②必要なカラムだけに絞ったViewを作成する本当に全部のカラムが必要ですか？又は

15. 15 ４．気を付けるべきことその③（テーブル構造について）まさかテーブルにキー定義が無いってことはないですよね？データの一意性を定義するキー・IDがなければ・・・ OData Serviceでのxsodata生成時にキー項目がない旨のエラーが発生します。 × xsodataのサービス定義に右のようにローカルID を付与すれば生成は処理されます。しかしこれは取り込み毎に自動生成されたIDが付与されるもので別の問題が発生します。 Service { ・・・, ・・・, key generate local “ID” }

16. 16 ４．気を付けるべきことその③（テーブル構造について）まさかテーブルにキー定義が無いってことはないですよね？データの一意性を定義するキー・IDが無く、xsodataのローカルIDでの処置の場合・・・ × 同一のテーブルデータの取り込み更新で各レコードが同一と見なされず、更新でなく追加になる等の弊害が発生します。追加になってしまって倍に正常に更新されたので変化なし取り込みデータの集計値無い時キー定義有る時

17. 17 ４．気を付けるべきことその③（テーブル構造について）解決策：テーブル・Viewでキーを定義するしかありません〇テーブル設計として正しい状態を前提〇 ①テーブルとして一意のキーを定義又は ②Viewとして一意のキーを定義

19. 19 ５．気を付けるべきことその④（テーブルデータの規模について）分析対象のデータ件数は如何ほどでしょうか？取り込みにかかる時間環境にもよりますが、取り込みに一日近くかかるケースもありえます。特に日次でデータの洗い替えが発生する場合は要注意 × 件数上限80万件１回の処理で取り込み可能なレコード件数は８０万件であり、上限を超えるレコードが対象データに存在するとエラーが発生する。タイムアウトになることも

20. 20 ５．気を付けるべきことその④（テーブルデータの規模について）解決策：Viewでの条件設定による絞り込み等〇分析に使用するデータの対象期間・分類等を限定し、参照データの件数を絞り込む必要があります。絞り込み又は、HANADBをバージョンアップし、LiveConnection利用を検討しましょう。（LiveConnectionではデータ取り込みでは無くデータ参照なので取り込み上限という概念が無い）

22. 22 ６．最後に（まとめ）・（弊社対応事例では）テーブル設計が適切になされていないケースが散見されました。適切な設計はスムーズなデータ活用に繋がります。 DB設計の”当たり前”がきちんと適用できているか改めて確認しましょう。・SAP Analytics Cloudでのデータ活用に際し、対象とするテーブルの構成やデータの範囲・件数を予め確認し、気を付けるべき点を踏まえて対策の上計画しましょう。・今回の事例はHANAのバージョンに制約があり記載のような状況が発生しまたが、基本的には最新バージョンを使用し、SAP Analytics Cloudとは LiveConnectionでの連携が推奨されます。（一部ケースを除く）

24. 24 ６．おまけ（CloudConnectorでのデータインポートとLiveConnectionの比較） ※特定時点の確認情報ですので現在は更新・改善されている可能性があります。データインポート(CloudConnector) LiveConnection データ取得に関する制限ファイルサイズ制限 PCからのアップロード・Microsoft Excel(XSLXのみ)：最大ファイルサイズ 200MB ・CSVファイル：最大ファイルサイズ 2GB －（データ取得は行わない） Cloud Elements経由のクラウドストレージ・Microsoft Excel(XSLXのみ)：最大ファイルサイズ 100MB ・CSVファイル：最大ファイルサイズ 1GB 行数制限・モデル、ストーリー：800,000行（CSV及びXLSXファイルからのインポートの場合はファイルサイズの制限はあるが行数は制限無し）・データセット：1,000,000行（CSV及びXLSXファイルからのインポートの場合はファイルサイズの制限もあり）一般制限列数・モデル、ストーリー：100列・データセット：1,000列ディメンションメンバー・計画モデル：1,000,000 ・分析モデル：1,000,000を超える一意メンバーが存在する場合、ディメンションは参照専用になる・地理拡張があるディメンションメンバー：200,000 ・親子階層があるディメンションメンバー：150,000（他の種類の属性の場合、1,000,000の制限が適用される）機能に関する制限ストーリー計算 ○ △（単純な四則演算は可能）予測機能スマートインサイト ○ X Smart Predict ○ X 時系列予測 ○ 折れ線チャートではサポートされない参考２：SAP Analytics Cloud ヘルプ：システムのサイジングとチューニング、およびデータ取得制限 https://help.sap.com/viewer/00f68c2e08b941f081002fd3691d86a7/release/ja-JP/5f61b6509a5e4d499e8cb9685f32db73.html?q=100%E5%88%97

25. 25 ６．おまけ（より詳細な情報）実際の設定手順やより詳細な内容は以下Qiita(SAP Advent Calendar記事)でも公開しております。 https://qiita.com/kyo_naga/items/a57694dcc32283e9e528

26. 27 • SAP Analytics Cloudは蓄積した業務データの活用に非常に有益なソリューションです。事前の現状分析と計画を前提に是非活用を検討してください！ • SAP Analytics Cloudの活用に向けて、HANADBを運用している環境を今一度見直しましょう！テーマ：チャレンジしよう！ - 行動をおこすキッカケに適切なデータ設計で SAP Analytics Cloud を有効に活用しましょう！

27. 28 ここで参加者の皆様に質問質問：ここまでの内容で、自社または顧客環境で思い当たるケースはありましたか？回答タイプ：選択形式選択の場合：選択肢リスト • 全く無し • 有った気がするので確認したい • 該当するまたは近しいケースが有る • 該当するまたは近しいケースが有り、且つ既に解決済み

【SAP Inside Track Tokyo 2021 DAT】HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと

【SAP Inside Track Tokyo 2021 DAT】HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと

Recommended

More Related Content

Similar to 【SAP Inside Track Tokyo 2021 DAT】HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと

Similar to 【SAP Inside Track Tokyo 2021 DAT】HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと(20)

【SAP Inside Track Tokyo 2021 DAT】HANADB to SAC - CloudConnectorを使用したデータインポートにおいて気を付けるべき４つのこと