Snowflake on GoogleをQlik Replicateのターゲットエンドポイントとして利用するための設定の解説や手順を紹介します。

1. © 2019 QlikTech International AB. All rights reserved.
Snowflake on Googleの
ターゲットエンドポイント
としての利用
クリックテック・ジャパン株式会社

2. © 2019 QlikTech International AB. All rights reserved.
2
Using Snowflake on
Google as a target

3. 3
一般的な前提条件
• クライアントの前提条件
• Qlik Replicate for Windows： Windows64ビットODBCドライバー2.23.0以降をダウンロードしてインストールします。
• Qlik Replicate for Linux： Linux64ビットODBCドライバー2.23.0以降をダウンロードしてインストールします。
• Snowflake Cloud Servicesの使用と全体的なパフォーマンスの両方を最適化するには、task settingsの[Change
Processing Tuning]タブで[Apply batched changes to multiple tables concurrently]オプションを有効にす
ることを強くお勧めします。
• Snowflake on Google のターゲットエンドポイント設定で、ストレージ統合名(Storage integration name)を指定
する必要があります。統合は、秘密鍵やアクセストークンなどの明示的なクラウドプロバイダーの認証情報を渡す必要がなく、代わ
りに統合オブジェクトがCloud Storageサービスのアカウントを参照します。
• ファイアウォールポート443は、アウトバウンド通信のために開く必要があります。

4. 4
制限事項
レプリケートタスクでスノーフレークターゲットエンドポイントを使用する場合は、次の制限が適用されます。
• Change Processing mode の Transactional apply はサポートされません。
• 名前にバックスラッシュが含まれるテーブル（例：SPECIALTABLEN）のレプリケーションはサポートされていません。
• バイナリデータ型に対する変更の適用(Applying changes)はサポートされません。
• Limited LOBモードのみをサポートします。
• Snowflake ODBCドライバーの制限により、HTTPSによるプロキシサーバーへの接続はサポートされていません。

5. 5
Snowflakeのロール
• ReplicateがSnowflakeへのODBC接続を確立するとき、SnowflakeのデフォルトのユーザーロールであるSYSADMINを使用します。
• ただし、企業のセキュリティポリシーで、サードパーティアプリケーションにSYSADMIN特権を持たせないように指示されている場合は、より少
ない権限でカスタムロールを作成し、代わりにそれを使用することができます。次のいずれかの方法を使用して実行できます。
• [Advanced]タブの[Additional ODBC connection properties]に「role=MYROLE」の形で指定します。MYROLWに入
るのは、Snowflake上で定義されたカスタムロール名です。
• Snowflake上のデフォルトのユーザーロールをSYSADMINから別のカスタムロールに変更します。

6. 6
必要な権限
必要な権限は、Replicateタスクが開始される前にターゲットのスキーマやターゲットテーブルがすでに存在していたかどうかによって異なります。
• スキーマは存在するが、テーブルはReplicateによって作成される場合
• USAGE ON DATABASE
• USAGE ON SCHEMA
• CREATE FILE FORMAT ON SCHEMA
• CREATE STAGE ON SCHEMA
• CREATE TABLE ON SCHEMA
• スキーマもテーブルも存在しない場合
• USAGE ON DATABASE
• CREATE SCHEMA ON DATABASE
• レプリケーションタスクが開始される前にテーブルが存在している場合
※推奨されていませんが、異なるロールを持つユーザーによって作成され
た既存のテーブルにデータを複製する場合は、エンドポイント設定で指定
されたSnowflakeユーザーに次のテーブル権限が必要です。
• SELECT
• INSERT
• UPDATE
• TRUNCATE
• DELETE
• REFERENCES

7. 7
Google cloud storageの権限
Snowflake on Googleのターゲットエンドポイント設定で指定するJSON認証情報は、指定したバケットとフォルダに対して読み取り
と書き込みのアクセス権を持つアカウントのものである必要があります。

8. 8
Google Cloud側での
基本セットアップ
Google Cloud StorageをSnowflake外部ストレー
ジとして使用します。
※Snowflakeの内部ストレージは2021年9月現在未サポート

9. 9
Google Cloud Storageのバケットとフォルダの準備
• Google Cloud PlatformのコンソールからCloud Storageにアクセスし、バケットとフォルダを作成します。
• 詳細な手順については、以下のドキュメントをご確認ください。
• バケットの作成
• フォルダ
※こちらの例ではsnowflake028057346897576というバケットと、その配下にstageというフォルダを作成しています。

10. 10
サービスアカウントとJSONキーの準備
• Google Cloud Platformのコンソールから[IAMと管理]にアクセスし、[サービスアカウント]タブから[サービスアカウントを作成]を選択します。
• 任意のサービスアカウント名を入力し、ロールに[ストレージ管理者]を指定し、アカウントを作成します。
• ※ストレージのバケットとフォルダそれぞれに対する読み込み・書き込み権限が必要です。

11. 11
サービスアカウントとJSONキーの準備
• サービスアカウント一覧画面で、作成したサービスアカウント名をクリックして詳細を開きます。
• [キー]タブに移動し、[鍵を追加]>[新しい鍵を作成]を選択します。
• 秘密鍵の作成画面が表示されますので、キーのタイプで[JSON]を指定し、作成します。エンドポイントの作成時にこのJSONを使用し
ますので保管しておいてください。

12. 12
Snowflakeのストレージ統合の準備
以下の手順はこちらのSnowflakeドキュメントを参考にしています。
• アカウントアドミン権限で、Snowflakeでクラウドストレージ統合を作成します。Snowflakeコンソールで以下を実行します。
USE ACCOUNTADMIN;
CREATE STORAGE INTEGRATION <任意の統合名>
TYPE = EXTERNAL_STAGE
STORAGE_PROVIDER = GCS
ENABLED = TRUE
STORAGE_ALLOWED_LOCATIONS = (‘gcs://<バケット名>/<フォルダパス>/')
• Snowflakeアカウント用のCloud Storage サービスアカウントを取得します。
DESC STORAGE INTEGRATION <前項で指定した統合名>;
※DESCコマンドで出力される STORAGE_GCP_SERVICE_ACCOUNT プロパティは、Snowflakeアカウント用に作成されたCloud Storageサービスアカウントを示
しています（例： service-account-id@project1-123456.iam.gserviceaccount.com）。Snowflakeアカウント全体に、単一のCloud Storageサービ
スアカウントをプロビジョニングします。すべてのCloud Storage統合で、そのサービスアカウントを使用します。

13. 13
Snowflakeのストレージ統合の準備
Snowflakeがバケットオブジェクトにアクセスするためのサービスアカウント権限を付与します。
Cloud Storageバケットを使用してデータをロードおよびアンロードできるようにするために、Google Cloud Platform ConsoleでSnowflake用の IAM アク
セス許可を構成します。
• まず、バケットにアクセスしてオブジェクトを取得するために必要な権限を持つカスタムロールを作成します。
• Google Cloud Platformコンソールにプロジェクトエディターとしてログインし、[IAMと管理]を開きます。
• [ロールを作成]をクリックします。
• ロールの名前と説明を入力します。
• [権限を追加]をクリックします。
• 権限のリストをフィルターし、リストから次を追加します。
• storage.buckets.get
• storage.objects.get
• storage.objects.list
• ※場合によってその他の権限が必要になります。詳細はこちらを確認してください。
• [作成]を選択し、ロールを作成します。

14. 14
Snowflakeのストレージ統合の準備
カスタムロールの作成手順：画面のイメージ

15. 15
Snowflakeのストレージ統合の準備
• Cloud Storage Serviceアカウントへカスタムロールを割り当てます。
• Google Cloud Storageのダッシュボードを開き、作成したバケット左のチェックボックスを選択し、画面右の[情報パネルを表示]を選択します。

16. 16
Snowflakeのストレージ統合の準備
• 右側の情報パネルで[メンバーを追加]を選択します。
• [新しいプリンシパル]にて、DESC STORAGE INTEGRATIONコマンドで取得した「STORAGE_GCP_SERVICE_ACCOUNT」の値から検索します。
※ Replicate用に作成したサービスアカウントではありません。
• [ロールを選択]から、先ほど作成したカスタムロールを選択します。
• [保存]を選択します。

17. 17
Qlik Replicate側での
基本セットアップ

18. 18
Qlik Replicate for Windows
Qlik Replicate for Windows
• Qlik ReplicateサーバーマシンにWindows 用Snowflake ODBC Driver 2.24.0 をインストールします。
• ドライバーについては以下をご参照下さい：
 Downloading the ODBC Driver
インストール

19. 19
Qlik Replicate for Linux
Qlik Replicate for Linux
• Qlik Replicateサーバー マシンに Linux 用のSnowflake ODBC Driver 2.24.0をインストールし、接続を確認します。
• ドライバーについては以下をご参照下さい：
 Downloading the ODBC Driver
インストール
• インストール手順およびテストについては以下をご参照下さい：
 Linux用 ODBC ドライバーのインストールおよび構成

20. 20
Snowflake
側での基本セットアップ

21. 21
セットアップの実行
レプリケートの処理を行うSnowflakeユーザーには、テーブル操作(select,insert,update,
truncate,delete,references)などの権限を付与する必要があります。ここでは例として、以下の処理を行うための
SQL文を実行します。実行するSQLは次のページに記載しています。
1. データロード処理を行うWarehouseをload_whという名称で作成
2. ODSという名称で新たなデータベースを作成
3. レプリケートの処理を行うためのユーザーをreplicate_userという名称で作成
4. replicateという名称でロールを作成してreplicate_userに割当て、load_wh利用の権限やODSデータベース(お
よび含まれるスキーマやテーブル)に対する操作の権限をロールに付与
5. GCSを外部ストレージとして使用するため、replicateロールにストレージ統合の操作権限を付与

22. 22
セットアップの実行
use role sysadmin;
//データロード用のWarehouseを作成
create or replace warehouse load_wh with warehouse_size='X-SMALL';
//ODSデータベースを作成
create database ODS;
use role accountadmin;
//replicateロールを作成
create role replicate;
//replicate_userを作成
CREATE USER replicate_user PASSWORD = 'replicate_password' DEFAULT_ROLE = 'REPLICATE' DEFAULT_WAREHOUSE = 'LOAD_WH' MUST_CHANGE_PASSWORD =
FALSE;
//replicate_userに対してreplicateロールを割り当て
grant role replicate to user replicate_user;
//replicateとsysadminロールに対して、load_wh利用の権限を付与
grant all on warehouse load_wh to sysadmin;
grant usage on warehouse load_wh to replicate;
//replicateとsysadminロールに対してODSデータベース操作の権限を付与
grant all on database ODS to role replicate;
grant all on all schemas in database ODS to role replicate;
grant all on future schemas in database ODS to role replicate;
grant select, insert, update, truncate, delete, references on all tables in database ODS to role replicate;
grant select, insert, update, truncate, delete, references on future tables in database ODS to role replicate;
grant all on database ODS to role sysadmin;
grant all on all schemas in database ODS to role sysadmin;
grant all on future schemas in database ODS to role sysadmin;
grant select, insert, update, truncate, delete, references on all tables in database ODS to role sysadmin;
grant select, insert, update, truncate, delete, references on future tables in database ODS to role sysadmin;

23. 23
セットアップの実行
//replicateにストレージ統合の使用権限を付与
GRANT USAGE ON INTEGRATION GCS_INT TO ROLE REPLICATE;
GCSを外部ストレージとして使用するため、以下も実行する。

24. 24
セットアップの実行
管理者アカウント（sysadmin)でSnowflakeの管理コンソールへログオンし、[Worksheets]を選択してSQL文をペー
ストし、[All Queries]をONにして[Run]をクリックします。

25. 25
セットアップの確認
[Warehouses]タブをクリックし、「LOAD_WH」が作成されていることを確認します。
[Databases]タブをクリックし、「ODS」が作成されていることを確認します。

26. 26
セットアップの確認
右上のプロファイルから[Switch Role]>[ACCOUNTADMIN]を選択します。
[Users]タブをクリックし、「REPLICATE_USER」が作成されていることを確認します。

27. 27
セットアップの確認
[Roles]タブをクリックし、「REPLICATE」が作成されていることを確認します。

28. 28
検証環境クリーンアップ
※検証実施後など、Snowflake上で作成したリソースを全て削除したい場合には以下を実行することで削除することができます。
use role accountadmin;
drop user replicate_user;
drop role replicate;
use role sysadmin;
drop database ods;
drop warehouse load_wh;
drop integration if exists GCS_INT;

29. 29
Qlik Replicate側の
タスク設定のポイント

30. 30
タスク設定
task settingsの[Change Processing Tuning]タブで[Apply batched changes to multiple tables concurrently]オプションを有
効にします(推奨)。これは一つのトランザクションで複数テーブルの変更処理を同時に適用するためのオプションで、パフォーマンス及びSnowflakeの課金
の最適化に影響します。
※このオプションを有効化した場合には[Error Handling]の初期設定が
変更され、また[Global Error Handling policy]が利用できなくなりま
す。
※[Batch Tuning]の設定はSnowflakeにデータを纏めて適用するため
に、Qlik Replicateが変更データをメモリにため込む時間や量を設定しま
す。こちらもパフォーマンス及びSnowflakeの課金の観点から必要に応じ
て設定を変更します。

31. 31
データ型

32. 32
ターゲットデータ型
Qlik ReplicateのSnowflake on Googleエンドポイントは、ほとんどのSnowflakeデータ型をサポートしています。次の表は、
Qlik Replicateを使用するときにサポートされるSnowflake on Googleターゲットデータ型と、Qlik Replicateデータ型からのデ
フォルトのマッピングを示しています。
※Snowflake on Googleは、 Batch optimized applyモードでのバイナリデータ型への変更の適用[Apply changes]をサ
ポートしていません。 Batch optimized applyモードの詳細についてはChange Processing Tuning参照してください。
※ INT , INTEGER , BIGINT , SMALLINT , TINYINT , BYTEINTデータ型は、Snowflakeでは常にNUMBER(38,
0)と表現されます。詳細はSnowflakeのヘルプを参照してください。
ソースからマップされたデータ型を表示する方法については、使用しているソースデータベースのセクションを参照してください。Qlik
Replicateのデータ型についての詳細は Replicate data types をご確認ください。

33. 33
ターゲットデータ型
Qlik Replicate データ型 Snowflake on Googleデータ型
BOOL BOOLEAN
BYTES If length is => 1 and =< 8388608, then:
BINARY (Length in Bytes)
If length is => 8388609 and =< 2147483647,
then:
BINARY (8388608)
DATE DATE
TIME TIME
DATETIME TIMESTAMP (precision)
INT1 NUMBER
INT2 NUMBER
INT4 NUMBER
INT8 NUMBER
NUMERIC If scale is => 0 and =< 37, then:
NUMBER (p,s)
If scale is => 38 and =< 127, then:
NUMBER (Length)
REAL4 FLOAT4
REAL8 FLOAT8
STRING If length is => 1 and =< 16777216, then:
VARCHAR (Length in Bytes)
If length is => 16777217 and =< 2147483647,
then:
VARCHAR (16777216)
Qlik Replicate データ型 Snowflake on Googleデータ型
UINT1 BYTEINT
UINT2 INTEGER
UINT4 INTEGER
UINT8 BIGINT
WSTRING If length is => 1 and =< 21845, then:
VARCHAR (Length in Bytes)
If length is => 21846 and =< 2147483647, then:
VARCHAR (65535)
BLOB If length is => 1 and =< 8388608, then:
BINARY (Length in Bytes)
If length is => 8388609 and =< 2147483647, then:
BINARY (8388608)
NCLOB VARCHAR (Max LOB Size)
CLOB VARCHAR (Max LOB Size)

34. 34
サポートされていないデータ型
完全なLOBデータ型はサポートされていません。レプリケーションに制限付きサイズのLOBデータ型を含める方法については、
「Customizing tasks 」の「Metadata」の説明を参照してください。

35. 35
Qlik Replicateでの
エンドポイント定義

36. 36
一般的な接続プロパティの設定
Snowflake on GoogleターゲットエンドポイントをQlik Replicateに追加するには、次の手順を実行します。
1. Qlik Replicate コンソールで、 [Manage Endpoints Connections ]をクリックして、 [Manage Endpoints Connections ]ダイアログボックスを開きま
す。
2. [Manage Endpoint Connections]ダイアログボックスで、 [New Endpoint Connection]をクリックします。
3. [Name]フィールドに、エンドポイントの名前を入力します。
4. [Description]フィールドに、エンドポイントを識別するための説明を入力します。これはオプションです。
5. [Role]で[Target] を選択します。
6. [Type]で [Snowflake on Google]を選択します。

37. 37
一般的な接続プロパティの設定 (続き)
7. [Snowflake on Google Target]タブで以下を入力します。
• Snowflake Account/Host: Snowflake on GoogleのURL
• Username: Snowflakeのユーザー名
• Password:上記ユーザーの対応するパスワード
• Warehouse: Snowflakeのウェアハウス名
• Database name: Snowflakeのデータベース名
8. [Staging]タブで以下を入力します。
• Storage Type :Google Cloud Storageのみ (Snowflakeの内部ストレージは今後サポート予定)
• JSON credentials : Google Cloud Storageバケットへの読み込み・書き込み権限のあるサービスアカウントキーの
JSON認証情報
• Bucket name : Google Cloud Storageのバケット名
• Target folder : バケット内のファイルが生成されるフォルダ名
• Storage integration name : ストレージ統合名。統合は、秘密鍵やアクセストークンなどの明示的なクラウドプロバイダー
の認証情報を渡す必要がなく、統合オブジェクトはCloud Storageサービスアカウントを参照します。詳細は、こちらを確認し
てください。

38. 38
エンドポイントへの接続確認
• 使用するデータベースに接続されているかどうか、または入力した接続情報が正しいかどうかを確認するには、「Test Connection」をクリックします。
• 接続が成功した場合は、緑色のメッセージが表示されます。接続に失敗した場合は、ダイアログボックスの下部にエラーメッセージが表示されます。
• 接続に失敗した場合のログエントリを表示するには、「View Log」をクリックします。接続に失敗したときの情報を含むサーバーログが表示されます。なお
、このボタンは、テスト接続に失敗したとき以外は使用できません。

39. 39
高度な接続プロパティの設定
[Advanced] タブでは、次のプロパティを設定できます。
• Max file size (MB)
• Snowflakeへのデータ転送に使用するCSVファイルの最大サイズを選択または入力します。初期値は100MBです。
• ODBC driver
• Snowflake への接続に使用するデフォルトの ODBC ドライバの名前です。既定値はSnowflakeDSIIDriverです。
• Proxy Server パラメータ
• Use proxy server : プロキシサーバーを経由してSnowflake on Googleにアクセスする場合は、このオプションを選択します。
• Host name: プロキシサーバのホスト名
• Port : プロキシサーバにアクセスするポート
• User name: プロキシサーバにアクセスするためのユーザー名(必要な場合のみ)
• Password :プロキシサーバにアクセスするためのパスワード(必要な場合のみ)

40. 40
高度な接続プロパティの設定 (続き)
Internal Parametersは、UIで公開されていないパラメータです。Qlikサポートの指示があった場合のみ使用してください。
Internal parametersを追加するには:
1. Internal Parametersのリンクをクリックします。Internal Parameters ダイアログボックスが開きます。
2. 編集ボックスに、追加するパラメータの名前を入力し、クリックします。
3. 検索ボックスの下のテーブルに、パラメータがデフォルト値で追加されます。
4. デフォルト値を必要に応じて変更します。
5. パラメータの値をデフォルトに戻すには、行の最後にある「Restore default value」アイコンをクリックします。
これらのオプションは、特定のバージョンや環境にのみ関連するため、UIには表示されません。したがって、Qlikサポートや製品マニュアルで明示的に指示されない限り、
これらのオプションを設定しないでください。
オプションを設定するには、オプションを「Add feature name」フィールドにコピーして「Add」をクリックします。その後、受け取った指示に従ってオプションの値を設定し
たり、有効にしたりします。
その他のオプション
[Settings summary]」をクリックすると、設定の概要を表示することができます。この機能は、Qlikサポートに設定の概要を送信する必要がある場合に便利です。
Settings summary

41. www.qlik.com/sap