Snowflake on AWSをQlik Replicateのターゲットエンドポイントとして利用するための設定の解説や手順を紹介します。

1. © 2019 QlikTech International AB. All rights reserved.
Snowflake on AWSの
ターゲットエンドポイント
としての利用
クリックテック・ジャパン株式会社

2. © 2019 QlikTech International AB. All rights reserved.
2
Using Snowflake on
AWS as a target

3. 3
一般的な前提条件
• AWSにサインアップし、AWS Management Consoleを使用して、Snowflake on AWS On Demand-Standardま
たはSnowflake on AWS On Demand-Premierを購入し、Snowflake on AWSクラスターを起動します。
• パスワードやユーザー名など、AWSアカウントとAWSクラスター上のSnowflakeに関する基本情報をメモします。AWSデータ
ウェアハウス上のSnowflakeと連携するようにQlik Replicateを設定するには、この情報が必要になります。
• Snowflake on AWSエンドポイントを設定して、データファイルをSnowflake（内部）またはAmazonS3にステージングで
きます。Amazon S3ステージングを使用する場合は、Amazon S3バケットを用意する必要があります。（最高のパ
フォーマンスを得るには） 立ち上げるSnowflakeと同じAWSクラスターリージョンにS3バケットを配置することをお勧めし
ます。
• Bucket access credentials：バケット名、リージョン、アクセスキー、シークレットアクセスキーをメモします。 Qlik
Replicateのエンドポイント設定で、それらが必要になります。
• Bucket access permissions：Qlik Replicateには、Amazon S3バケットへの読み取り/書き込み/削除権限が
必要です。

4. 4
一般的な前提条件
• クライアントの前提条件
• Qlik Replicate for Windows： Windows64ビットODBCドライバー2.23.0以降をダウンロードしてインストールします。
• Qlik Replicate for Linux： Linux64ビットODBCドライバー2.23.0以降をダウンロードしてインストールします。
• Snowflake Cloud Servicesの使用と全体的なパフォーマンスの両方を最適化するには、task settingsの[Change
Processing Tuning]タブで[Apply batched changes to multiple tables concurrently]オプションを有効にす
ることを強くお勧めします。
• Qlik Replicate Serverマシンの時刻は正確である必要があります。
• ファイアウォールポート443は、アウトバウンド通信のために開く必要があります。

5. 5
制限事項
レプリケートタスクでスノーフレークターゲットエンドポイントを使用する場合は、次の制限が適用されます。
• Change Processing mode の Transactional apply はサポートされません。
• 名前にバックスラッシュが含まれるテーブル（例：SPECIALTABLEN）のレプリケーションはサポートされていません。

6. 6
Snowflakeのロール
• ReplicateがSnowflakeへのODBC接続を確立するとき、SnowflakeのデフォルトのユーザーロールであるSYSADMINを使用します。
• ただし、企業のセキュリティポリシーで、サードパーティアプリケーションにSYSADMIN特権を持たせないように指示されている場合は、より少
ない権限でカスタムロールを作成し、代わりにそれを使用することができます。次のいずれかの方法を使用して実行できます。
• [Advanced]タブの[Additional ODBC connection properties]に「role=MYROLE」の形で指定します。MYROLWに入
るのは、Snowflake上で定義されたカスタムロール名です。
• Snowflake上のデフォルトのユーザーロールをSYSADMINから別のカスタムロールに変更します。

7. 7
必要な権限
必要な権限は、Replicateタスクが開始される前にターゲットのスキーマやターゲットテーブルがすでに存在していたかどうかによって異なります。
• スキーマは存在するが、テーブルはReplicateによって作成される場合
• USAGE ON DATABASE
• USAGE ON SCHEMA
• CREATE FILE FORMAT ON SCHEMA
• CREATE STAGE ON SCHEMA
• CREATE TABLE ON SCHEMA
• スキーマもテーブルも存在しない場合
• USAGE ON DATABASE
• CREATE SCHEMA ON DATABASE
• レプリケーションタスクが開始される前にテーブルが存在している場合
※推奨されていませんが、異なるロールを持つユーザーによって作成され
た既存のテーブルにデータを複製する場合は、エンドポイント設定で指定
されたSnowflakeユーザーに次のテーブル権限が必要です。
• SELECT
• INSERT
• UPDATE
• TRUNCATE
• DELETE
• REFERENCES

8. 8
Qlik Replicate側での
基本セットアップ

9. 9
Qlik Replicate for Windows
Qlik Replicate for Windows
• Qlik ReplicateサーバーマシンにWindows 用Snowflake ODBC Driver 2.24.0 をインストールします。
• ドライバーについては以下をご参照下さい：
 Downloading the ODBC Driver
インストール

10. 10
Qlik Replicate for Linux
Qlik Replicate for Linux
• Qlik Replicateサーバー マシンに Linux 用のSnowflake ODBC Driver 2.24.0をインストールし、接続を確認します。
• ドライバーについては以下をご参照下さい：
 Downloading the ODBC Driver
インストール
• インストール手順およびテストについては以下をご参照下さい：
 Linux用 ODBC ドライバーのインストールおよび構成

11. 11
AWS側での
基本セットアップ
AWSのストレージをSnowflake外部ストレージとし
て使用する場合のみ実行するステップ

12. 12
IAMの準備
• AWS IAMで、Amazon S3バケットへの読み取り/書き込み/削除権限を持つユーザーを作成しておきます。
• 検証ではAmazonS3FullAccessポリシーをアタッチしたAdministratorというユーザーを使用しています。

13. 13
アクセスキーとシークレットアクセスキーの取得
• IAMユーザーの[認証情報]タブから[アクセスキーの作成]を選択します。
• 作成されたアクセスキーIDとシークレットアクセスキーをメモしておきます。のちのQlik Replicateエンドポイントの作成時
に使用します。

14. 14
S3バケットの作成
• AWSコンソールのAmazon S3にアクセスします。
• バケットメニューから[バケットを作成]を選択します。

15. 15
S3バケットの作成
• 任意のバケット名を指定します。バケット名は後のQlik Replicateエンドポイントの作成時に使用しますので、メモしておきます。
• AWSリージョンを指定します。Snowflakeのリージョンと同じリージョンを指定しています。
• その他の設定は既定のままとし、画面下部の[バケットを作成]を選択します。
画面下にスクロール

16. 16
フォルダの作成
• バケット一覧のページに戻り、作成したバケットを開きます。
• [フォルダの作成]を選択します。
• フォルダ名を指定し、[フォルダの作成]を選択します。フォルダ名をエンドポイントの作成時に使用しますのでメモします。

17. 17
Snowflake
側での基本セットアップ

18. 18
セットアップの実行
レプリケートの処理を行うSnowflakeユーザーには、テーブル操作(select,insert,update,
truncate,delete,references)などの権限を付与する必要があります。ここでは例として、以下の処理を行うための
SQL文を実行します。実行するSQLは次のページに記載しています。
1. データロード処理を行うWarehouseをload_whという名称で作成
2. ODSという名称で新たなデータベースを作成
3. レプリケートの処理を行うためのユーザーをreplicate_userという名称で作成
4. replicateという名称でロールを作成してreplicate_userに割当て、load_wh利用の権限やODSデータベース(お
よび含まれるスキーマやテーブル)に対する操作の権限をロールに付与

19. 19
セットアップの実行
use role sysadmin;
//データロード用のWarehouseを作成
create or replace warehouse load_wh with warehouse_size='X-SMALL';
//ODSデータベースを作成
create database ODS;
use role accountadmin;
//replicateロールを作成
create role replicate;
//replicate_userを作成
CREATE USER replicate_user PASSWORD = 'replicate_password' DEFAULT_ROLE = 'REPLICATE' DEFAULT_WAREHOUSE = 'LOAD_WH' MUST_CHANGE_PASSWORD =
FALSE;
//replicate_userに対してreplicateロールを割り当て
grant role replicate to user replicate_user;
//replicateとsysadminロールに対して、load_wh利用の権限を付与
grant all on warehouse load_wh to sysadmin;
grant usage on warehouse load_wh to replicate;
//replicateとsysadminロールに対してODSデータベース操作の権限を付与
grant all on database ODS to role replicate;
grant all on all schemas in database ODS to role replicate;
grant all on future schemas in database ODS to role replicate;
grant select, insert, update, truncate, delete, references on all tables in database ODS to role replicate;
grant select, insert, update, truncate, delete, references on future tables in database ODS to role replicate;
grant all on database ODS to role sysadmin;
grant all on all schemas in database ODS to role sysadmin;
grant all on future schemas in database ODS to role sysadmin;
grant select, insert, update, truncate, delete, references on all tables in database ODS to role sysadmin;
grant select, insert, update, truncate, delete, references on future tables in database ODS to role sysadmin;

20. 20
セットアップの実行
管理者アカウント（sysadmin)でSnowflakeの管理コンソールへログオンし、[Worksheets]を選択してSQL文をペー
ストし、[All Queries]をONにして[Run]をクリックします。

21. 21
セットアップの確認
[Warehouses]タブをクリックし、「LOAD_WH」が作成されていることを確認します。
[Databases]タブをクリックし、「ODS」が作成されていることを確認します。

22. 22
セットアップの確認
右上のプロファイルから[Switch Role]>[ACCOUNTADMIN]を選択します。
[Users]タブをクリックし、「REPLICATE_USER」が作成されていることを確認します。

23. 23
セットアップの確認
[Roles]タブをクリックし、「REPLICATE」が作成されていることを確認します。

24. 24
検証環境クリーンアップ
※検証実施後など、Snowflake上で作成したリソースを全て削除したい場合には以下を実行することで削除することができます。
use role accountadmin;
drop user replicate_user;
drop role replicate;
use role sysadmin;
drop database ods;
drop warehouse load_wh;

25. 25
Qlik Replicate側の
タスク設定のポイント

26. 26
タスク設定
task settingsの[Change Processing Tuning]タブで[Apply batched changes to multiple tables concurrently]オプションを有
効にします(推奨)。これは一つのトランザクションで複数テーブルの変更処理を同時に適用するためのオプションで、パフォーマンス及びSnowflakeの課金
の最適化に影響します。
※このオプションを有効化した場合には[Error Handling]の初期設定が
変更され、また[Global Error Handling policy]が利用できなくなりま
す。
※[Batch Tuning]の設定はSnowflakeにデータを纏めて適用するため
に、Qlik Replicateが変更データをメモリにため込む時間や量を設定しま
す。こちらもパフォーマンス及びSnowflakeの課金の観点から必要に応じ
て設定を変更します。

27. 27
データ型

28. 28
ターゲットデータ型
Qlik ReplicateのSnowflake on AWSエンドポイントは、ほとんどのSnowflakeデータ型をサポートしています。次の表は、Qlik
Replicateを使用するときにサポートされるSnowflake on AWSターゲットデータ型と、Qlik Replicateデータ型からのデフォルトの
マッピングを示しています。
※Snowflake on AWSは、 Batch optimized applyモードでのバイナリデータ型への変更の適用[Apply changes]をサポー
トしていません。 Batch optimized applyモードの詳細についてはChange Processing Tuning参照してください。
ソースからマップされたデータ型を表示する方法については、使用しているソースデータベースのセクションを参照してください。Qlik
Replicateのデータ型についての詳細は Replicate data types をご確認ください。

29. 29
ターゲットデータ型
Qlik Replicate データ型 Snowflake on AWSデータ型
BOOL BOOLEAN
BYTES If length is => 1 and =< 8388608, then:
BINARY (Length in Bytes)
If length is => 8388609 and =<
2147483647, then:
BINARY (8388608)
DATE DATE
TIME TIME
DATETIME TIMESTAMP (precision)
INT1 NUMBER
INT2 NUMBER
INT4 NUMBER
INT8 NUMBER
NUMERIC If scale is => 0 and =< 37, then:
NUMBER (p,s)
If scale is => 38 and =< 127, then:
NUMBER (Length)
REAL4 FLOAT4
REAL8 FLOAT8
STRING If length is => 1 and =< 16777216, then:
VARCHAR (Length in Bytes)
If length is => 16777217 and =<
2147483647, then:
VARCHAR (16777216)
Qlik Replicate データ型 Snowflake on AWSデータ型
UINT1 BYTEINT
UINT2 INTEGER
UINT4 INTEGER
UINT8 BIGINT
WSTRING If length is => 1 and =< 21845, then:
VARCHAR (Length in Bytes)
If length is => 21846 and =< 2147483647, then:
VARCHAR (65535)
BLOB If length is => 1 and =< 8388608, then:
BINARY (Length in Bytes)
If length is => 8388609 and =< 2147483647, then:
BINARY (8388608)
NCLOB NVARCHAR (Max LOB Size)
CLOB VARCHAR (Max LOB Size)

30. 30
サポートされていないデータ型
完全なLOBデータ型はサポートされていません。レプリケーションに制限付きサイズのLOBデータ型を含める方法については、
「Customizing tasks 」の「Metadata」の説明を参照してください。

31. 31
Qlik Replicateでの
エンドポイント定義

32. 32
一般的な接続プロパティの設定
Snowflake on AWSターゲットエンドポイントをQlik レプリケートに追加するには、次の手順を実行します。
1. Qlik Replicate コンソールで、 [Manage Endpoints Connections ]をクリックして、 [Manage Endpoints Connections ]ダイアログボックスを開きま
す。
2. [Manage Endpoint Connections]ダイアログボックスで、 [New Endpoint Connection]をクリックします。
3. [Name]フィールドに、エンドポイントの名前を入力します。
4. [Description]フィールドに、エンドポイントを識別するための説明を入力します。これはオプションです。
5. [Role]で[Target] を選択します。
6. [Type]で [Snowflake on AWS]を選択します。

33. 33
一般的な接続プロパティの設定 (続き)
7. [Snowflake on AWS Target]タブで以下を入力します。
• Snowflake URL: Snowflake on AWSのURL
• Username: Snowflakeのユーザー名
• Password:上記ユーザーの対応するパスワード
• Warehouse: Snowflakeのウェアハウス名
• Database name: Snowflakeのデータベース名
8. [Staging]で[Snowflake]または [AWS S3]を選択します。
AWS S3を選択した場合、以下についても設定します。
• Bucket name: ファイルのコピー先となるAmazon S3 bucket名
• Bucket region: S3 バケットとフォルダのリージョン名。デフォルト値は US East (N. Virginia).
• Access type: 以下何れかから選択してください:
• Key pair - この方法を選択すると、アクセスキーとシークレットキーで認証されます。次に、以下の追加情報を入力します。 :
• Access key: Amazon S3のアクセスキー情報
• Secret key: Amazon S3のシークレットキー情報
• IAM Roles for EC2 - Qlik Replicateがインストールされているマシンが、IAMロールを使用して認証するように構成されている場合は、この方法を選択しま
す。次に、以下の追加情報を提供します。 :
• External stage name: 外部ステージの名前です。IAM Roles for EC2のアクセスタイプを使用するには、S3バケットを参照する外部ステージを作
成する必要があります。
• IAM Roles for EC2アクセス方式を使用するには、「Prerequisite for using the IAM Roles for EC2 AccessType」に記載されている前提条件を満たす必要が
あります。
• Folder: ファイルをコピーする先のバケットフォルダー

34. 34
IAM Roles for EC2のアクセスタイプを使用するための準備
IAM Roles for EC2のアクセスタイプを使用するには、タスクを実行する前にSnowflake on AWSのデータベースで以下のコマンドを実行する必要があり
ます。
コマンド1:
create or replace file format MY_FILE_FORMAT TYPE='CSV' field_delimiter=','compression='GZIP' record_delimiter='n'
null_if=('attrep_null') skip_header=0 FIELD_OPTIONALLY_ENCLOSED_BY='“’;
コマンド2:
create or replace stage “PUBLIC”.MY_S3_STAGE file_format=MY_FILE_FORMAT url='s3://MY_STORAGE_URL'
credentials=(aws_role='MY_IAM_ROLE');
MY_FILE_FORMAT – 何れの値でも可
MY_S3_STAGE – [External stage name]で指定された名前
MY_STORAGE_URL - Amazon S3 バケットのURL
MY_IAM_ROLE – IAMロール名

35. 35
エンドポイントへの接続確認
• 使用するデータベースに接続されているかどうか、または入力した接続情報が正しいかどうかを確認するには、「Test Connection」をクリックします。
• 接続が成功した場合は、緑色のメッセージが表示されます。接続に失敗した場合は、ダイアログボックスの下部にエラーメッセージが表示されます。
• 接続に失敗した場合のログエントリを表示するには、「View Log」をクリックします。接続に失敗したときの情報を含むサーバーログが表示されます。なお
、このボタンは、テスト接続に失敗したとき以外は使用できません。

36. 36
高度な接続プロパティの設定
[Advanced] タブでは、次のプロパティを設定できます。
• Max file size (MB)
• Snowflakeへのデータ転送に使用するCSVファイルの最大サイズを選択または入力します。初期値は100MBです。
• ODBC driver
• Snowflake への接続に使用するデフォルトの ODBC ドライバの名前です。既定値はSnowflakeDSIIDriverです。
• Additional ODBC connection properties
• 必要に応じて、追加のODBC接続プロパティを入力します。

37. 37
高度な接続プロパティの設定 (続き)
一般的な接続プロパティの[Staging]で [AWS S3]を選択すると、「Advanced」タブにProxy Server Propertiesの設定が表示されます。
• Use proxy server
• S3にプロキシサーバ経由でアクセスする場合は、こちらのオプションを選択してください。
• Host name
• プロキシサーバーのホスト名
• Port
• プロキシサーバにアクセスするときのポート番号
• User name
• プロキシサーバにアクセスするときのユーザー名
• Password
• プロキシサーバにアクセスするときのパスワード
• Scheme
• サーバーへのアクセスに使用するプロトコルを選択します（HTTPまたはHTTPS）。HTTPSを使用するためには、まず、以下のように、プロキシの証明
書に署名したCA証明書をReplicate Serverのマシンにインストールする必要があります。 :
• On Windows: CA証明書をLocal ComputerのTrusted Root Certification Authoritiesストアに追加します。
• On Linux: CA証明書を/etc/pki/tls/certs/ca-bundle.crtに追加します。

38. 38
高度な接続プロパティの設定 (続き)
Internal Parametersは、UIで公開されていないパラメータです。Qlikサポートの指示があった場合のみ使用してください。
Internal parametersを追加するには:
1. Internal Parametersのリンクをクリックします。Internal Parameters ダイアログボックスが開きます。
2. 編集ボックスに、追加するパラメータの名前を入力し、クリックします。
3. 検索ボックスの下のテーブルに、パラメータがデフォルト値で追加されます。
4. デフォルト値を必要に応じて変更します。
5. パラメータの値をデフォルトに戻すには、行の最後にある「Restore default value」アイコンをクリックします。
これらのオプションは、特定のバージョンや環境にのみ関連するため、UIには表示されません。したがって、Qlikサポートや製品マニュアルで明示的に指示されない限り、
これらのオプションを設定しないでください。
オプションを設定するには、オプションを「Add feature name」フィールドにコピーして「Add」をクリックします。その後、受け取った指示に従ってオプションの値を設定し
たり、有効にしたりします。
その他のオプション
[Settings summary]」をクリックすると、設定の概要を表示することができます。この機能は、Qlikサポートに設定の概要を送信する必要がある場合に便利です。
Settings summary

39. www.qlik.com/sap