Google App Engine: Datastore のクエリを理解しよう

Google App Engine:
Datastore のクエリを
理解しよう

@bufferings
2010/07/31

appengine ja night #9

自己紹介
@bufferings

●
#appengine ja night in kansai
http://www.ustream.tv/channel/ajnk
●
Slim3 サイトの日本語化
http://sites.google.com/site/slim3documentja/
●
Kotori Web JUnit Runner(ktrwjr ことーじゃ )
http://code.google.com/p/ktrwjr/
2 appengine ja night #9

クエリの前に


Datastore


Bigtable


Bigtable
A distributed, shareded, sorted Array
Row name Row data


Entity


Entities Table


Entities Table
Path


Entities Table > 例

※ この図は概念図です。実際の実装を表すものではありません。


ソフトスキーマ

12 #appengine ja night in kansai 2 ( #ajnk2 )

Null 値と Missing

13 #appengine ja night in kansai 2 ( #ajnk2 )

Query & Index Tables
●
Bigtable からのデータ取得
●
Datastore からのデータ取得
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


Read


Prefix Scan


Range Scan


●
●
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


Get


Get
●
Key = MyApp/Person(1)/Person(10)


（参考） Batch Get


Query


Index
●
使用する全ての Query に対して Index が必要
●
問い合わせ時の計算・集約・ Join はできない
●
プロパティの一部を返すことはできない
( キーだけを返すことは可能 )
●
Entity を更新したら関係する Index が更新される


●
●
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


Query の構成
●
Kind を指定
●
0 個以上のフィルタを指定
=, <=, <, >, >=, !=, IN
●
0 個以上のソート順を指定
ASC, DESC

※Kind を指定しない Kindless Query という特別な
種類の Query もあります

Query と Kind
●
Query は単一の Kind の Entity だけを取得
→これが Kind の主な目的


制約
●
あるプロパティをフィルタまたはソートするには、そ
のプロパティが存在する必要がある
●
不等式フィルタが使用できるのは 1 つのプロパ
ティに限られる
●
不等式フィルタで使用されているプロパティは他の
ソート順よりも先にソートする必要がある


制約
●
● Query の仕組みを知ることで
制約の理由がわかります。
●
→ 今日の目標


●
●
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


Index Tables
●
自動で作成される Index
●
Kind Index
●
Single Property Index
●
定義が必要な Index
●
Custom Index


Kind Index


Kind Index

●
特定の Kind の全 Entity を取得


Kind Index
●
特定の Kind の全 Entity を取得
●
[Kind] Food


●
ASC


●
DESC



●
1 つのプロパティに対する Filter
●
1 つのプロパティに対する Sort
●
1 つのプロパティに対する Filter と Sort


●
●
[Filter] name = "Suzuki"


●
●
[Filter] name > "B" and name < "T"


●
1 つのプロパティに対する Sort
●
[Sort] name DESC


●
1 つのプロパティに対する Filter と Sort
●
[Filter] name > "B" and name < "T"
●
[Sort] name ASC


Custom Index


Custom Index

●
2 つ以上のプロパティに対する Sort
●
2 つ以上のプロパティに対する Filter
●
Ancestor と Filter または Sort
●
Key の降順ソート

※ Merge Join （後述）で可能な Query もあります。

Custom Index
●
Custom Index の定義


Custom Index
●
2 つ以上のプロパティに対する Sort
●
[Sort] height ASC, weight DESC


Custom Index
●
●
[Filter] lastname = "Suzuki" and
firstname = "Jiro"


Custom Index
●
●
[Filter] lastname = "Suzuki" and
firstname >= "B" and firstname < "T"


Custom Index
●
●
[Filter] height >= 170
●


Custom Index
●
不等式フィルタ使用時の 3 つのルール
●
その１
1 つの不等式フィルタと複数の等式フィルタがあ
る場合は、まず等式フィルタのプロパティでソー
トされ、次に不等式フィルタのプロパティでソート
されなければならない


Custom Index
●
[Filter] height >= 165 and weight = 70
●


Custom Index
●
●
その 2
1 つの不等式フィルタと複数のソート順がある場
合は、まず不等式フィルタのプロパティでソートさ
れ、次にその他のプロパティでソートされなけれ
ばならない


Custom Index
●
[Filter] weight > 60
●


Custom Index
●
●
その 3
不等式フィルタは１つのプロパティにしか適用で
きない


Custom Index
●
[Filter] height >= 170 and weight >= 70


Custom Index
●
Ancestor と Filter または Sort
●
Ancestor Query は今日は説明しません


Custom Index
●
Key の降順 Sort には Custom Index が必要


ここまでのまとめ
●
自動で作成される Index
●
Kind Index
– 特定の Kind の全 Entity を取得
●
– 1 つのプロパティに対する Filter
– 1 つのプロパティに対する Sort
– 1 つのプロパティに対する Filter と Sort


ここまでのまとめ
●
定義が必要な Index
●
Custom Index
– 2 つ以上のプロパティに対する Sort
– 2 つ以上のプロパティに対する Filter
– Ancestor と Filter または Sort
– キーの降順 Sort


●
●
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


Merge Join
●
複数のプロパティに対して等式フィルタのみを適用
する場合は、 Custom Index を使用せずに Query
を実行することができる

●
条件
●
[Filter] 等式フィルタのみ
●
[Sort] なし


Merge Join
●
複数の Single Property Index をマージしながら検
索⇒ "Merge Join"
●
Key がソートされていることを利用して "zig-zag" ア
ルゴリズムを使用


Merge Join
●
[Filter] a=1 and b=2 and c=3


Merge Join
●


Merge Join
●
データ量が増えてくると Merge Join では処理しき
れなくなる
⇒「 Custom Index が必要」というエラーになる

●
Custom Index が定義されている場合は Merge
Join せずに Custom Index が使用される


●
●
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


制約
●
●
●


●
●
●
Query
●
Query と Index
●
Merge Join
●
制約
●
Query と MVP


MVP と等式フィルタ
●
Entity1(Key1)
●
favorite=["apple", "google"]
●
Entity2(Key2)
●
favorite=["google"]
●
Entity3(Key3)
●
favorite=["orange"]


●
[Filter] favorite="google"


●
リスト内のいずれかの値が等式フィルタに一致す
れば取得される


●
[Filter] favorite="google" and favorite="apple"
●
Merge Join によって Entity1 が取得される


MVP と不等式フィルタ
●
Entity1(Key1)
●
val=[1, 3, 5]
●
Entity2(Key2)
●
val=[2, 3, 4]


●
Entity1(Key1)
●
val=[1, 3, 5]
●
Entity2(Key2)
●
val=[2, 3, 4]


●
[Filter] val >= 3
●
最初にマッチしたものが採用される


MVP とソート順
●
Entity1(Key1)
●
val=[1, 3, 5]
●
Entity2(Key2)
●
val=[2, 3, 4]


MVP とソート順


MVP とソート順
●
ASC でも DESC でも Entity1,Entity2 の順になる


インデックス爆発
●
MVP に対するフィルタを複数持つ Custom Index を
作成した場合
●
Entity1
●
val1: 要素数 10
●
val2: 要素数 10
●
Custom Index
●
[Sort] val1 ASC, val2 ASC
⇒Entity1 の Index は 100 行になる

●
1Entity に対するインデックス数は 5000 まで
●
Entity2
●
val1: 要素数 18
●
val2: 要素数 18
●
val3: 要素数 18
●
Query
●
[Filter] val1=x and val2=y and val3=z
⇒ インデックス爆発

●
Ancestor Query の Custom Index
●
Ancestor は展開される
●
深い EG を形成している場合に MVP との組み合
わせでインデックス爆発になりやすい


Next gen queries
●
Merge Join と Multi Query(Custom Index を使用す
るもの ) の実装がパワーアップするらしい
http://code.google.com/events/io/2010/sessions
/next-gen-queries-appengine.html


参考
●
Programming Google App Engine
http://www.amazon.co.jp/o/ASIN/059652272X
●
Under the Covers of the Google App Engine Datastore
http://sites.google.com/site/io/under-the-covers-of-the-google-app-engine-datastore

スライドは
http://snarfed.org/space/datastore_talk.html
●
@kazunori_279 さんの「 GAE/J ってどう使う？」
http://d.hatena.ne.jp/kazunori_279/20090617/1245224939
●
@ashigeru さんの「レンジスキャンのアレ」
http://gist.github.com/294650
●
Cacoo ( カクー )
http://cacoo.com/


ありがとうございました


Google App Engine: Datastore のクエリを 理解しよう

More Related Content

Viewers also liked