Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20200414 Advanced Features in Amazon Elasticsearch Service

235 views

Published on

20200414 Advanced Features in Amazon Elasticsearch Service

Published in: Technology
  • Be the first to comment

  • Be the first to like this

20200414 Advanced Features in Amazon Elasticsearch Service

  1. 1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Advanced Features in Amazon Elasticsearch Service Mitsuharu Hamba, Solutions Architect 2020/04/14 [ これから始める Amazon Elasticsearch Service セミナー ]
  2. 2. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. q 名前 : 半場 光晴(はんば みつはる) q 所属 : アマゾンウェブサービスジャパン 株式会社 技術統括本部 ソリューションアーキテクト q 好きな AWS サービス : AWS サポート Amazon EMR Amazon Elasticsearch Service ⾃⼰紹介
  3. 3. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本⽇のアジェンダ q UltraWarm(プレビュー) q Open Distro for Elasticsearch ベースの機能 q セキュリティ q アラーティング q インデックス管理 q SQL q kNN
  4. 4. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本⽇のアジェンダ q UltraWarm(プレビュー) q Open Distro for Elasticsearch ベースの機能 q セキュリティ q アラーティング q インデックス管理 q SQL q kNN
  5. 5. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Elasticsearch Service は、 Elasticsearch および Kibana のデプロイ、 管理、スケーリングを容易にするフル マネージド型のサービスです
  6. 6. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Elasticsearch Service の利点 柔軟性 データの検索やログの分析が可能 AWS とオープンソースの取り込み ツールをサポートする 優れたコスト効率 従量課金制の支払い 運用コストの削減、適切なインスタ ンスタイプのサイジング リザーブドインスタンスも選択可能 高可用性 セルフヒーリング、24 時間 365 日 のモニタリング、1クリックでマル チ AZ活用、自動バックアップ、 AWS サポートの利用、Amazon CloudWatch でのメトリクス取得 スケーラブル & 高性能 ワンクリックで、スケール、 Elasticsearchバージョンのアップグ レード、パッチ適用 セキュア Amazon VPC 内へのデプロイ、 Amazon Cognitoによるログイン HIPAA、FISMA、SOC、PCI、 FedRampに準拠 フルマネージド型 APIやAWSコンソールを利用して、 わずか数分でクラスターをデプロイ できる
  7. 7. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. UltraWarm - Amazon ES の新しいストレージ層 https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/ultrawarm.html パブリックプレビュー
  8. 8. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. UltraWarm : ログ分析⽤のクラウド最適化アーキテクチャ Amazon S3 Active Backup Backup UltraWarm UltraWarm UltraWarm Data Node Data Node Data Node Data Node Kibana Dedicated Master Nodes “Hot” Data Nodes UltraWarm Data Nodes 最大 90% のコスト削減 インタラクティブで統合 されたログ分析 マルチ PB スケール パブリックプレビュー
  9. 9. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ストレージ : コスト、拡張性、耐久性の向上 ⼤量のログデータの ストア S3 にデータを保存 Elasticsearch レベルのレプリカとスナップショットを排除 100% のストレージの利用をサポート 使用したストレージの料金を支払う パブリックプレビュー
  10. 10. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. シームレスな対話型ユーザー体験を提供 対話型のログ分析と可視化 の実⾏ すべてのパフォーマンスの最適化は、Kibana エクスペリエンスをお客様に楽しんでもらう ことを目的としている • 既存のクラスターのシームレスな拡張 • 現在と同じ検索 API とツールの使用 • クエリーは変更なしでホットおよび UltraWarm にま たがることができる • 対話型ダッシュボードと詳細な検索クエリ パブリックプレビュー
  11. 11. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. UltraWarm ノード : パフォーマンスに最適化 ⾼い性能と耐久性 最適化された Nitro インスタンスが、高帯域幅の S3 アクセス を提供 パフォーマンス (数値): • キャッシュされたデータにヒットしたクエリは、”Hot” のように実行される • キャッシュされていないデータのインデックスにまたがるクエリは、従来の HDD ベース のウォームインスタンスよりも最大 2 倍高速 • 数日間など狭い範囲・キャッシュされていないデータのインデックスへのクエリは、数 秒で完了 多層かつ詳細なキャッシュ、アダプティブプリフェッチ、クエ リエンジンの最適化により、インタラクティブ体験を提供 ローカルにキャッシュされたデータまたは S3 データに対して透 過的に実行されるクエリ パブリックプレビュー https://aws.amazon.com/ec2/nitro/
  12. 12. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. GB あたりのコストを削減し、保存期間を延長 最⼤ 90% のコスト削減 の実現 既存のサービスと比較すると、Amazon Elasticsearch Service I3 ベースのホットノードと比 較して、GB あたり USD を最大 90% 節約 Elasticsearch/Kibana から何ヶ月もデータにアクセ スできるようにする https://aws.amazon.com/elasticsearch-service/pricing/ パブリックプレビュー
  13. 13. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. UltraWarm : ログ分析⽤のクラウド最適化アーキテクチャ Amazon S3 Active Backup Backup UltraWarm UltraWarm UltraWarm Data Node Data Node Data Node Data Node Kibana Dedicated Master Nodes “Hot” Data Nodes UltraWarm Data Nodes 最大 90% のコスト削減 インタラクティブで統合 されたログ分析 マルチ PB スケール パブリックプレビュー
  14. 14. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本⽇のアジェンダ q UltraWarm(プレビュー) q Open Distro for Elasticsearch ベースの機能 q セキュリティ q アラーティング q インデックス管理 q SQL q kNN
  15. 15. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. エンタープライズグレードのセキュリティ、 アラート、SQL などにより強化された Elasticsearch の Apache 2.0 ライセンスのディス トリビューション https://opendistro.github.io/for-elasticsearch/
  16. 16. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Open Distro for Elasticsearch 利点 100% オープン ソース ⾃由に閲覧、使⽤、変更、 そして、配布することがで きる エンタープライズ グレード セキュリティや、 アラート機能、SQL、 およびクラスタ診断などの ⾼度な機能を提供する コミュニティ主導 個⼈や組織が、簡単にディ ストリビューションへ変更 を加えて貢献する⾃由を提 供する …
  17. 17. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ES へ取り込まれている Open Distro for Elasticsearch プラグイン セキュリティ 処理中の暗号化、き め細かなアクセス制 御、監査ログ、コン プライアンスを実現 アラーティング データを監視し、 データが変化した時 に自動アラートを送 信する SQL Elasticsearch クラス ターと簡単に対話し、 使い慣れた SQL クエ リ構文を使用してイ ンサイトを抽出する kNNインデックス 管理 定期的なインデック ス状態管理タスクが 自動化され、定期的 に実行するために外 部システムに依存す る必要がなくなる 通常のクエリを実行 するのと同じく簡単 に、何千ものディメ ンションにわたる数 十億のドキュメント に対して最近傍探索 を実行できる
  18. 18. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ES へ取り込まれている Open Distro for Elasticsearch プラグイン セキュリティ 処理中の暗号化、き め細かなアクセス制 御、監査ログ、コン プライアンスを実現 アラーティング データを監視し、 データが変化した時 に自動アラートを送 信する SQL Elasticsearch クラス ターと簡単に対話し、 使い慣れた SQL クエ リ構文を使用してイ ンサイトを抽出する kNNインデックス 管理 定期的なインデック ス状態管理タスクが 自動化され、定期的 に実行するために外 部システムに依存す る必要がなくなる 通常のクエリを実行 するのと同じく簡単 に、何千ものディメ ンションにわたる数 十億のドキュメント に対して最近傍探索 を実行できる
  19. 19. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. セキュリティ 暗号化(Amazon ESの基本機能としてすでに提供中) 保管時および転送中のデータの安全性を確保 認証 既存の認証インフラストラクチャを活⽤ 認可 (Role Based Access Control) クラスターでのユーザーアクションを制御す るためのきめ細かなアクセス制御 監査ログ すべてのユーザーアクションの追跡と記録 HIPAA、PCIコンプライアンスを満たす KEEP YOUR DATA SECURE ※打ち消し線箇所はAmazon ESに取り込まれていません
  20. 20. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. セキュリティアクセス制御フロー 認証 - HTTPベーシック認証、LDAP、AD、SAML、Webトークン、SSLを介して 認可 - Open Distroのロールにバックエンドアイデンティティ(IAM)をマッピング 権限 - ロールへ、クラスター/インデックス/ドキュメント/フィールドに対するアクションを許可 アクショングループ - 権限のグループ リクエスト w/ 認証情報 認証 リクエスト w/ ユー ザー、バックエンド ロール 認可 レスポンス ロールと 権限 認証 プロバイダー ※打ち消し線箇所はAmazon ESに取り込まれていません
  21. 21. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Kibana マルチテナント すぐに利⽤可能 グループ A グループ B グループ B 権限グループ A 権限 Index 1 Index 2 ダッシュボード Bダッシュボード A
  22. 22. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ES へ取り込まれている Open Distro for Elasticsearch プラグイン セキュリティ 処理中の暗号化、き め細かなアクセス制 御、監査ログ、コン プライアンスを実現 アラーティング データを監視し、 データが変化した時 に自動アラートを送 信する SQL Elasticsearch クラス ターと簡単に対話し、 使い慣れた SQL クエ リ構文を使用してイ ンサイトを抽出する kNNインデックス 管理 定期的なインデック ス状態管理タスクが 自動化され、定期的 に実行するために外 部システムに依存す る必要がなくなる 通常のクエリを実行 するのと同じく簡単 に、何千ものディメ ンションにわたる数 十億のドキュメント に対して最近傍探索 を実行できる
  23. 23. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アラーティング モニターの作成 アラートを受け取る必要のあるデータをクエリ する アラート条件のカスタム アラートのしきい値および重⼤度を複数のトリ ガー条件に対して定義する アラート内容を確認 すべてのアラートの実⾏はインデックスされ、追 跡と視覚化を容易にする 通知を取得 WebhookやSlack, SNSへの組み込み済みの統合を 使⽤して、利⽤中のチャネルで通知を受け取る RECEIVE ALERTS ON YOUR DATA
  24. 24. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ES へ取り込まれている Open Distro for Elasticsearch プラグイン セキュリティ 処理中の暗号化、き め細かなアクセス制 御、監査ログ、コン プライアンスを実現 アラーティング データを監視し、 データが変化した時 に自動アラートを送 信する SQL Elasticsearch クラス ターと簡単に対話し、 使い慣れた SQL クエ リ構文を使用してイ ンサイトを抽出する kNNインデックス 管理 定期的なインデック ス状態管理タスクが 自動化され、定期的 に実行するために外 部システムに依存す る必要がなくなる 通常のクエリを実行 するのと同じく簡単 に、何千ものディメ ンションにわたる数 十億のドキュメント に対して最近傍探索 を実行できる
  25. 25. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. インデックス管理 インデックスの管理 Kibana を使って Elasticsearch のインデックス を管理する ポリシーの定義 インデックスを管理するポリシーを作成する ポリシーの適用 ポリシーを適用して、インデックスを監視およ び管理する サポートされるアクションには、オープン、読 み取り専用、読み取り書き込み、レプリカ数、 ロールオーバー、強制マージ、クローズ、削除、 通知が含まれる Manage your Elasticsearch Indices ※打ち消し線箇所はAmazon ESに取り込まれていません
  26. 26. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ES へ取り込まれている Open Distro for Elasticsearch プラグイン セキュリティ 処理中の暗号化、き め細かなアクセス制 御、監査ログ、コン プライアンスを実現 アラーティング データを監視し、 データが変化した時 に自動アラートを送 信する SQL Elasticsearch クラス ターと簡単に対話し、 使い慣れた SQL クエ リ構文を使用してイ ンサイトを抽出する kNNインデックス 管理 定期的なインデック ス状態管理タスクが 自動化され、定期的 に実行するために外 部システムに依存す る必要がなくなる 通常のクエリを実行 するのと同じく簡単 に、何千ものディメ ンションにわたる数 十億のドキュメント に対して最近傍探索 を実行できる
  27. 27. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. SQL サポート 包括的に SQL をサポート 40以上の機能、データ型、 および、JOINを含むコマンドをサポート SQLをJSONに変換 SQL を使用して JSON を作成し、 高度なアクセス制御ポリシーを設定する 既存のツールを使用 JDBC ドライバーを提供しており、 BI、分析、および、ETLツールなどを使用するこ とができる QUERY DATA WITH SQL
  28. 28. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ES へ取り込まれている Open Distro for Elasticsearch プラグイン セキュリティ 処理中の暗号化、き め細かなアクセス制 御、監査ログ、コン プライアンスを実現 アラーティング データを監視し、 データが変化した時 に自動アラートを送 信する SQL Elasticsearch クラス ターと簡単に対話し、 使い慣れた SQL クエ リ構文を使用してイ ンサイトを抽出する kNNインデックス 管理 定期的なインデック ス状態管理タスクが 自動化され、定期的 に実行するために外 部システムに依存す る必要がなくなる 通常のクエリを実行 するのと同じく簡単 に、何千ものディメ ンションにわたる数 十億のドキュメント に対して最近傍探索 を実行できる
  29. 29. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. k-NN サーチ 教師なし機械学習アルゴリズム 検索は、ベクトル空間内の最も近いK点を⾒つけるために使⽤される データセットは、ベクトルの形で表されるk-NN 類似検索 類似検索および画像認識アプリケーションなどで使⽤され得る 近接 k-NNアルゴリズムは、類似のものが近接して存在することを前提としている 検索では、⼊⼒されたアイテムに最も類似したアイテムを返す まず、アイテムを Embeddings と呼ばれる⾼次元の空間座標に変換し、多次元空間での近 接性がアイテムの類似性に変換される MACHINE LEARNING PLUGIN
  30. 30. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Mapper plugin • 新しいフィールドデータ型の追 加を可能にする • ドキュメント内のベクトルを表 す「 knn_vector 」という名前の 新しいデータ型 Search plugin • 検索時の動作を拡張するため のプラグイン • カスタムクエリ句の定義に役 ⽴つ • 「 knn 」という名前の新しい クエリ句 k-NN サーチ MACHINE LEARNING PLUGIN
  31. 31. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本⽇のアジェンダ q UltraWarm(プレビュー) q Open Distro for Elasticsearch ベースの機能 q セキュリティ q アラーティング q インデックス管理 q SQL q kNN
  32. 32. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 参考資料 q Amazon ES Doc : https://docs.aws.amazon.com/elasticsearch-service/index.html q AWS Database Blog : https://aws.amazon.com/blogs/database/tag/elasticsearch/ q AWS Bigdata Blog : https://aws.amazon.com/blogs/big-data/tag/elasticsearch/ q Open Distro for Elasticsearch Source Code : https://github.com/opendistro-for-elasticsearch q Open Distro for Elasticsearch Doc : https://opendistro.github.io/for-elasticsearch-docs/ q Open Distro for Elasticsearch Blog : https://opendistro.github.io/for-elasticsearch/blog/ q AWS Open Source Blog : https://aws.amazon.com/blogs/opensource/category/analytics/open-distro-for- elasticsearch/
  33. 33. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

×