Download as PDF, PPTX
![自己紹介
山河 征紀
ウルシステムズ株式会社
コンサルタント
{
“分野” ： ”金融系（証券・FX）”,
“得技” ： [“インメモリー処理”,
“分散処理”],
“その他” ： ”Apache Geodeコミッター”
}
1](https://image.slidesharecdn.com/20211118dbts2021microservicesapachegeode-211118093129/75/20211118-dbts2021-Apache-Geode-2-2048.jpg)
![Geodeクラスター作成
24
◼ロケーター起動
⚫ gfsh> start locator
◼キャッシュサーバー起動
⚫ gfsh> start server --locators=localhost[10334]
✓ポイントはlocatorを指定すること
✓これでクラスターに参加できる](https://image.slidesharecdn.com/20211118dbts2021microservicesapachegeode-211118093129/75/20211118-dbts2021-Apache-Geode-25-2048.jpg)
More Related Content
Similar to 20211118 dbts2021 マイクロサービスにおけるApache Geodeの効果的な使い方
20211118 dbts2021 マイクロサービスにおけるApache Geodeの効果的な使い方
- 1.
- 2. 自己紹介 山河 征紀 ウルシステムズ株式会社 コンサルタント { “分野” ：”金融系（証券・FX）”, “得技” ： [“インメモリー処理”, “分散処理”], “その他” ： ”Apache Geodeコミッター” } 1
- 3.
- 4.
- 5. 証券業界・FX業界におけるよくある要求 4 ◼パフォーマンス ⚫ 低レイテンシー/高スループット ⚫ ユーザー数増加に伴うスケールアウト ⚫スパイクアクセス ◼対障害性 ⚫ ゼロダウンタイム ⚫ 短時間でのフェイルオーバー ⚫ DR 高性能データベース、 高性能サーバーの使用
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13. Apache GeodeはRDBとどう違うのか？ RDB ApacheGeode データ モデル リレーショナルモデル オブジェクトモデル データ 格納場所 ディスク メモリー データ アクセス SELECT * FROM XXX … INSERT INTO XXX VALUES … Object = GET(Key) PUT(Key, Object) SQL Key指定アクセス ※メモリーに キャッシュして 高速化 ※必要に応じ てディスク へ永続化 12
- 14.
- 15.
- 16.
- 17. Cache cache =new CacheFactory() .set("cache-xml-file", “cache.xml").create(); Region<Integer, Employee> region = cache.getRegion(“Employee"); Integer key = 1; Employee employee = new Employee(…); // データ登録 region.put(key, employee); // データ取得 Employee value = region.get(key); // データ削除 region.remove(key); 使い方は簡単 java.util.Mapを使用してる感覚で使用が可能 16
- 18.
- 19. RDBとApache Geodeの違い 18 観点 RDBApache Geode 重視している特性 一貫性 拡張性 可用性 拡張方法 スケールアップ または データの水平分割 スケールアウト データ参照方法 SQL キーによる問い合わせ 一貫性の維持 強い 緩い（RDBに比べると） データモデル 関係モデル キー・バリューモデル
- 20.
- 21.
- 22.
- 23.
- 24.
- 25. Geodeクラスター作成 24 ◼ロケーター起動 ⚫ gfsh> startlocator ◼キャッシュサーバー起動 ⚫ gfsh> start server --locators=localhost[10334] ✓ポイントはlocatorを指定すること ✓これでクラスターに参加できる
- 26.
- 27. クラスター作成後にやること 26 ◼リージョン作成 ⚫ gfsh> createregion --name=OrderRegion --type=REPLICATE ◼Index作成 ⚫ gfsh> create index --name=orderStatusIndex --region=/OrderRegion --expression=status
- 28.
- 29. Apache Geode 第1の壁 切り出したマイクロサービスへの ApacheGeodeの適用方法 28
- 30. KVSの壁 29 1. キー設計 2. レプリケートor パーティション 3. パーティショニング
- 31.
- 32. KVSの壁：2. レプリケート orパーティション ◼データの特性によってレプリケーションとパーティション を使い分ける パーティション レプリケーション すべてのマシンで同一のデータを保持する 何れかのマシンにデータが存在する 31 マスターデータ （顧客情報、商品情報等） トランザクションデータ （取引情報、予約情報等） • 割と固定的 • データ数が急激に増えないもの • 更新が少なく参照が多い • データの一部が変動する • 更新処理が多い • 日毎にデータが増加するもの
- 33.
- 34.
- 35.
- 36. なぜパーティショニングが必要なのか？ ◼デフォルトのパーティションリージョンのデータ配置では ノード間の通信が発生してしまう 太郎 次郎 ECサイトでユーザーマスターと過去の注文履歴をチェックしつつ、注文処理を行う場合 花子 ×3個 太郎 ×100個 次郎 太郎（港区） 次郎（中央区） 花子（目黒区） 次郎×20冊 ×5個 次郎 ×3冊 APP#1 APP#2 注 文 注 文 ユ ー ザ ー ユ ー ザ ー 35
- 37. なぜパーティショニングが必要なのか？ ◼デフォルトのパーティションリージョンのデータ配置では ノード間の通信が発生してしまう 注文処理 注文処理 ×8本 ×5個 太郎 次郎 太郎の注文履歴 次郎の注文履歴 届け先: 港区 届け先: 中央区 ECサイトでユーザーマスターと過去の注文履歴をチェックしつつ、注文処理を行う場合 花子×3個 太郎 ×100個 次郎 太郎（港区） 次郎（中央区） 花子（目黒区） 次郎 ×20冊 ×5個 次郎 ×3冊 APP#1 APP#2 注 文 注 文 ユ ー ザ ー ユ ー ザ ー 36
- 38. なぜパーティショニングが必要なのか？ ◼カスタムパーティショニングを使用することでノード間の 通信が削減できインメモリー処理が出来る 注文処理 注文処理 ×8本 ×5個 太郎 次郎 太郎の注文履歴 次郎の注文履歴 届け先: 港区 届け先: 中央区 花子×3個 太郎 ×100個 次郎 次郎 ×20冊 ×5個 注 文 注 文 ユ ー ザ ー ユ ー ザ ー 太郎（港区） 花子（目黒区） 次郎（中央区） 次郎 ×3冊 注文者でパーティション、注文リージョンとユーザーリージョンをCo-Location APP#1 APP#2 37
- 39.
- 40. Apache Geode 第2の壁 切り出したマイクロサービスへの ApacheGeodeの適用方法 39
- 41.
- 42. 永続化の壁：RDB連携 41 ◼Apache GeodeのRDB連携機能を活用 ⚫ CacheWriter（同期/非同期） ⚫CacheLoader RDB リージョン 参照 （Read A） CacheLoaderによる リードスル― キャッシング A B C C A B クライアント RDBMS リージョン 追加 （Write A） CacheWriterによる ライトスルー キャッシング/ ライトビハインド キャッシング A B C C A B クライアント
- 43. CacheWriter 42 ◼メモリー上のデータ変更を自動でRDBへ保存 ⚫ 同期の場合 ⚫ 非同期の場合 RDBMS リージョン ① 追加リクエスト （WriteA） ② CacheWriterによる RDB書き込み A B C C A B クライアント ③ メモリー上の データの確定 RDBMS リージョン ① 追加リクエスト （Write A） ③ CacheWriterによる RDB書き込み (キューにある順) A B C C A B クライアント ② メモリー上の データの確定 キュー
- 44. CacheLoader 43 ◼キャッシュミスが発生した場合に自動的にRDBから読み取り ⚫ APPが意識するのはリージョンのみ ⚫ あたかもメモリー上にあったかのように振る舞う ※メモリ不足対策でExpire/Evictionと一緒に使うケースが多い RDB リージョン 参照 （ReadA） CacheLoaderによる リードスル― キャッシング A B C C A B クライアント
- 45. RDB連携の設定 44 ◼データソース作成 ⚫ gfsh> createdata-source --name=mysql_data_source --url=“jdbc:mysql://localhost/geode_db“ --username=myuser --password=mypassword ◼リージョン <-> RDBマッピング作成 ⚫ gfsh> create jdbc-mapping --data-source=mysql_data_source --region=Order --table=order --pdx-name=geode.examples.Order --catalog=geode_db --id=orderId
- 46.
- 47.
- 48.
- 49.
- 50. Object Query Language（OQL） ◼QueryModelではOQLを有効活用 publicclass Order { private int ordreId; private String customerId; private String productCd; private Date orderDate; private int amount; private double price; ・・・ ・・・ } SELECT * FROM /Order ord WHERE ord.amount >= 500 Query Model Apache Geode 注文を 検索する メモリー 参照のため 高速 500以上の注文データを取得する場合の クエリー クエリー対象のオブジェクト 49
- 51.
- 52.
- 53.