Apache Calcite の Apache Geode Adapter を弄って、わりとはまったところとかを中心に、設定方法やら使い方を報告

1. 1
Apache Calcite の
Apache Geode
Adopter を弄った
@quitada
2017/12/26

2. “Apache Calcite” とは？
 次世代高性能データベース構築のための基盤ソフト
ウェア
– Java で記述されている
– SQL インターフェースを提供
– クエリーオプティマイザーを提供
– データストアそのものは提供しないが、NoSQL データ
ベース等をデータストアとして使用可能とするアダプ
ター実装を提供
2
情報ソース: https://calcite.apache.org/

3. Apache Calcite を使用しているプロジェクト
3
Apache Calcite はこ
れらのプロジェクト
に、SQL インター
フェースやクエリー
オプティマイザー機
能を提供するため使
用されている。
Apache Calcite はこ
れらのプロジェクト
やサービスに対して、
オフィシャルなアダ
プター実装を提供し
ている。

4. データストアとの連携方法とクエリー実行
 アダプター実装を用意する
 対象データストアに対する json 形
式のモデルファイルを用意する
– こちらは Cassandra の例
– アダプター実装のファクトリー
クラスを指定する必要がある
 対象データストアに対して、
sqlline コマンドか JDBC ドライバー
で接続して SQL クエリーを実行
4
{
version: '1.0',
defaultSchema: 'twissandra',
schemas: [
{
name: 'twissandra',
type: 'custom',
factory: 'org.apache.calcite.adapter.cassandra.CassandraSchemaFactory',
operand: {
host: 'localhost',
keyspace: 'twissandra'
}
}
]
}
$ ./sqlline
sqlline> !connect jdbc:calcite:model=model.json admin admin
sqlline> SELECT "tweet_id"
FROM "timeline"
WHERE "username" = 'JmuhsAaMdw'
ORDER BY "time" DESC LIMIT 1;

5. Apache Geode Adapter
 Apache Geode 開発元の Pivotal 社から正式リリースされては
いないが、Christian Tzolov 氏（Pivotal 社所属の Spring エン
ジニア）の個人の GitHub リポジトリにて提供
– https://github.com/tzolov/calcite/tree/geode-1.3/geode
 Apache Calcite と GemFire/Geode インテグレーションについ
て、SpringOne Platform 2017 の以下のセッションにて氏自ら
語っている。
– https://youtu.be/tH2Q3ZujTHY
5

6. Apache Geode Adapter を弄ってみた（1/6）
 はい、動きました。でも INSERT は実装されてないけど
– そもそも Apache Calcite の JDBC ドライバーでは更新系の操作は非対応のようですが。
 以下の設定で、Apache Geode クラスターを準備
– クラスター構成：Apache Geode 1.3 ベースに、Locator を用意し、Client-Server 構成
とする
– シリアライズ対象のドメインクラスを実装
– 以下の設定で Region を作成
▪ シリアライズ対象のドメインクラスに、PDX ReflectionBasedAutoSerializer を設定し、read-serialized=“true”
とする（つまり、get 操作に対して PDXInstances 型オブジェクトを返す設定）
– gfsh 等の Geode クライアントからいくつかのテストデータエントリーを対象 Region
に put
6

7. Apache Geode Adapter を弄ってみた（2/6）
 GitHub リポジトリーより、Apache Geode Adapter 実装込み
の Apache Calcite を入手、インストール
– $ cd /path/to/local_git_repo
– $ git clone https://github.com/tzolov/calcite.git
– $ cd /path/to/local_git_repo/calcite
– $ git checkout geode-1.3
– $ mvn install -DskipTests -Dcheckstyle.skip=true
7

8. Apache Geode Adapter を弄ってみた（3/6）
 sqlline コマンドスクリプトを編集し、コンパイルしたドメインクラスへのパス
を CLASSPATH に追加
– $ cd /path/to/local_git_repo/calcite
– $ vi sqlline
– 注意：“cache.xml” というファイル名のファイルは、/classpath/to/domain_classes 配
下に置かないこと。Apache Geode API はキャッシュ設定のため cache.xml というファ
イルを CLASSPATH から検索し設定し、Apache Geode Adaptor が期待しないキャッ
シュ設定がされてしまう可能性があるため。
8
:
for module in core cassandra druid elasticsearch2 elasticsearch5 file mongodb server spark splunk geode…
CP=${CP}${module}/target/classes:
CP=${CP}${module}/target/test-classes:
done
CP=${CP}/classpath/to/domain_classes:
CP="${CP}$(cat target/fullclasspath.txt)”
:

9. Apache Geode Adapter を弄ってみた（4/6）
 実際の Region 設定に応じて、model.json ファイルを編集
– $ cd /path/to/local_git_repo/calcite/geode/target/test-classes
– $ vi model.json
9
{
"version": "1.0",
"defaultSchema": "TEST",
"schemas": [
{
"name": "TEST",
"type": "custom",
"factory": "org.apache.calcite.adapter.geode.simple.GeodeSimpleSchemaFactory",
"operand": {
"locatorHost": "172.16.227.2",
"locatorPort": "55221",
"regions": "BookMaster",
"pdxSerializablePackagePath": ”quitada.*"
}
}
]
}
2017 年 12 月現在、
ファクトリークラス
名の設定が間違って
いるようなので、こ
の赤字のように修正
する。
Locator 情報
Region
名
サーバーサイドの cache.xml に記載さ
れているように PDX シリアライズ対
象ドメインクラスのパスを記述

10. Apache Geode Adapter を弄ってみた（5/6）
 sqlline コマンドを実行
– $ cd /path/to/local_git_repo/calcite
– $ ./sqlline
 ClassNotFoundError 等のエラーや例外が発生した場合は、設
定内容を確認、それでも解消しないようなら、以下のファ
イルを削除して、再度 sqlline コマンドを実行
– /path/to/local_git_repo/calcite/target/fullclasspath.txt
10

11. Apache Geode Adapter を弄ってみた（6/6）
 sqlline コマンドデモ
– Apache Geode クラスターに接続
▪ !connect jdbc:calcite:model=/path/to/model.json admin admin
– テーブル一覧表示
▪ !tables
– 最もシンプルなクエリーの実行
▪ SELECT * FROM “[Regoin 名]”;
11
なぜか、対象 Region 名をダブル
クォーテーションで囲ってやらないと
うまくクエリーできない（2017 年 12
月現在）…