Download as PDF, PPTX
![自己紹介
山河 征紀
ウルシステムズ株式会社
マネージングコンサルタント
{
“分野”：”金融系”
“得技”：[“分散処理”,
“インメモリー処理”]
“趣味”：”マラソン”
}
1](https://image.slidesharecdn.com/20180217hackertacklegeode-180217074951/75/20180217-hackertackle-geode-2-2048.jpg)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinarsqldw20170726-180220004900-thumbnail.jpg?width=640&height=640&fit=bounds)
![【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinaradl20180308-180308093647-thumbnail.jpg?width=640&height=640&fit=bounds)
![【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinaradl20180215-180219043331-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...](https://cdn.slidesharecdn.com/ss_thumbnails/20170616dbtechshowcaseossyoshida-170621081930-thumbnail.jpg?width=640&height=640&fit=bounds)
20180217 hackertackle geode
- 1. Apache Geodeで学ぶ！ インメモリーデータグリッド 2018.02.17 Sat. HACKERTACKLE ハカタクル？ #hackt
- 2.
- 3. 本日のトーク microservices – applicationdatabases Command Query Responsibility Segregation 2 マイクロサービス、CQRSで使える NoSQLデータベース「Apache Geode」
- 4.
- 5. データベース、使ってますか？ • データの内容を確認する場合、ものすごく便利 • ただし、アプリケーションから使う場合は・・・ 4 JVM アプリケーション JDBC リレーショナルデータモデル オブジェクトインピーダンス ミスマッチ オブジェクト vs リレーショナルデータモデル
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. 特徴①超高速インメモリー処理： メモリーによる処理が速いはご存知の通り • RDBと比較して1000倍のスループット データ参照先 スループット インメモリーデータグリッド （同一JVM） 1,103,347TPS インメモリーデータグリッド （別JVM） 2,617 TPS RDB 1,100 TPS 400倍 1000倍 データ参照時スループット 15
- 17.
- 18.
- 19. Cache cache =new CacheFactory() .set("cache-xml-file", “cache.xml").create(); Region<Integer, Employee> region = cache.getRegion(“Employee"); Integer key = 1; Employee employee = new Employee(…); // データ登録 region.put(key, employee); // データ取得 Employee value = region.get(key); // データ削除 region.remove(key); 特徴②高可用性： APから見た使い方も簡単 • java.util.Mapを使用してる感覚でデータが分散される • APからはクラスター、冗長化を意識する必要はない 18
- 20. 特徴③書き込み処理のスケールアウト： P2Pアーキテクチャー • データ読み込みのみならず、サービスの呼び出し頻度により書き込みも増減可能 • ノード数に比例して処理性能を高めることができる ・・・データベース ・・・ RDBの場合Apache Geodeの場合 サービス 業務処理 キャッ シュ サービス 業務処理 キャッ シュ サービス 業務処理 キャッ シュ サービス 業務処理 Apache Geode サービス 業務処理 Apache Geode サービス 業務処理 Apache Geode スケール アウト 19
- 21. 特徴④トランザクション処理： RDBと同じようにトランザクション処理もできる • RDBと同じようにトランザクション処理ができる • ただし、楽観ロックとなるため、競合が発生した場合は例外となる 20 CacheTransactionManagertxManager = cache.getCacheTransactionManager(); try { // トランザクション開始 txManager.begin(); regionA.put("KEY", value1); regionB.put("KEY", value2); // コミット txManager.commit(); } catch (Exception e) { // ロールバック txManager.rollback(); throw e; } リージョンA リージョンB 成功 失敗 トランザクション リージョンAの処理も ロールバックできる
- 22. マイクロサービスにおける Apache Geodeの使い方 - CommandQuery Responsibility Segregation - Part 3
- 23.
- 24. JVM JVM リアルタイムキャッシュ • Apache Geodeではメモリー中のデータを管理するサーバーとクライアントがある •クライアントはサーバーから必要なデータのみを取得しリアルタイムでキャッシュする • QueryModelではキャッシュといえど常に最新のデータがメモリー中に存在する 23 注文を 登録する Command Model Query Model Apache Geode （DataServer） Apache Geode （Client） 注文を 検索する CQRSのデータアクセス （Apache Geode） リアルタイム キャッシュ 変更内容はサーバーから Push更新される メモリー 参照
- 25. Object Query Language（OQL）（1） •データを取得する際はキーを指定した取得が基本となるが、クライアントキャッシュに対してク エリーを実行することも出来る 24 public class Order { private int ordreId; private String customerId; private String productCd; private Date orderDate; private int amount; private double price; ・・・ ・・・ } SELECT * FROM /Order ord WHERE ord.amount >= 500 JVM Query Model Apache Geode （Client） 注文を 検索する メモリー 参照 500以上の注文データを取得する場合のクエリー クエリー対象のオブジェクト
- 26. Object Query Language（OQL）（2） •データ量が多い場合はサーバーに対してパラレルクエリー実行する 25 JVM Query Model 注文を 検索する Apache Geodeクラスター Apache Geode （DataServer） Apache Geode （DataServer） Apache Geode （DataServer） ・・・
- 27. マイクロサービスにおける Apache Geodeの使い方 - Orchestrationand Choreography - Part 4
- 28.
- 29. Pub/SubもできるNoSQLデータベース • データをApache Geodeに保持しつつ、非同期イベントをSubscriberへ配信する •Subscriberは事前に登録した条件に合致するイベントのみ取得する 28 JVM 注文を 登録する Command Model Apache Geode （DataServer） 注文 イベント 取引所へ 発注 注文受付 メール送信 ・・・ イベントは事前に登 録したもののみ取得 される 取得対象 イベント登録 サービス （Subscriber）
- 30. イベント処理のコード例 • クライアント（Subscriber）は取得したいイベントの条件と、イベントが発生した場合の処 理を実装する 29 Region<String, Order>region = cache.getRegion(“Order"); // 取得対象イベントのキーを正規表現で指定 region.registerInterestRegex(".*"); public class OrderListener implements CacheListener<String, Order> { @Override public void afterCreate( EntryEvent<String, Order> event) { // 登録、追加、削除等のイベント種別毎に実装できる } @Override public void afterUpdate( EntryEvent<String, Order> event) { // 任意のイベント処理、変更前後のデータが取得できる } … 全ての注文イベントを取得する場合 イベント処理の実装
- 31. Continuous Query • ContinuousQueryを使うことでキー以外の条件でイベント処理できる • Continuous QueryではOQLを登録しておき、結果が変更となった場合にイベントが取得 出来る 30 Apache Geode （DataServer） 注文 イベント 取引所へ 発注 注文受付 メール送信 ・・・ サービス （Subscriber） SELECT * FROM /Order ord WHERE ord.productCd <> 'ABC' 特定銘柄の場合のみメール送信しない Continuous Query 全イベント 取得
- 32. 非同期イベントでQueryに最適化したデータを作る • 検索しづらい場合は、非同期イベントでクエリーに最適化したデータを作る • パフォーマンス向上のためキーで検索できるようにする •JOINを不要とするため非正規化したデータモデルを作る • 集計処理、等 31 JVM JVM 注文を 登録する Command Model Query Model Apache Geode Apache Geode （Query最適化データ） 注文を 検索する メモリー 参照 注文 イベント Queryに 最適化
- 33.
- 34. ビッグデータリアルタイム分析ならSnappyData！ • Apache Sparkとインメモリーデータベースを統合し、独自機能を付加 •分散インメモリーデータベースの足回りにApache Geodeを使用 分散インメモリー データベース 独自付加機能 カラム型データベース 予測分析処理 ロー型データベース トランザクション 分散処理 フレームワーク バッチ処理 分析処理 ストリーム処理 33 Powerd by
- 35.
- 36.
- 37.