More Related Content Similar to Introducing Elastic 8.1 Release - More Integration, Faster Indexing Speed, Lower Data Storage Requirements.pdf (20) More from Shotaro Suzuki (20) Introducing Elastic 8.1 Release - More Integration, Faster Indexing Speed, Lower Data Storage Requirements.pdf3. l Enterprise Search 8.1 Updates
l Observability 8.1 Updates
l Security 8.1 Updates
l Platform 8.1 Updates
アジェンダ
4. The Elasticsearch Platform
Enterprise Search Observability Security
Kibana
Explore, Visualize, Engage
Elasticsearch
Store, Search, Analyze
Integrations
Connect, Collect, Alert
Public cloud Hybrid On-premises
In a world where endless data creates endless possibility, search helps people and organizations thrive.
7. Web crawler granular
domain selector
今回のリリース以前は、ウェブクローラーをご利⽤の
お客様が新しいクロールを作成する場合、基本的
に「例外なくすべてをクロールする」という単⼀の
オプションしかありませんでした。
今回、ドメインセレクターコントロールを追加すること
で、お客様が必要に応じて新しいクロールの範囲
を狭めることができるツールを導⼊し始めました。
今後のリリースでさらに充実させていく予定です。
なぜそれが重要なのか
10. TypeScript support
for Search UI
現代のフロントエンド開発は TypeScript を標準
とする⽅向に進んでおり、これまで TypeScript
プロジェクトでSearch UI を使いたいと考えていた
お客様は、多くの障害にぶつかっていました。
8.1では、 Search UI は TypeScript で
完全に書き直され、Elastic Stack で素晴らしい
サーチ体験を構築できるようになりました。
なぜそれが重要なのか
12. Coming up:
データインジェスト
近⽇公開 :
➔ データソースとしての Elasticsearch インデックス
➔ インジェストとツールの相互運⽤性
➔ ネットワークドライブ、Microsoft Teams対応
ロードマップ上 :
➔ インテグレーション・モジュール性
➔ ファイル内容抽出
➔ ZOOM、Microsoft Outlook 対応
13. Coming up:
サーチエクスペリエンス
近⽇公開 :
➔ Search UI support for Workplace Search
➔ Search UI support for Elasticsearch
ロードマップ上 :
➔ 多くのユースケースに対応した Search UI の ”Getting
Started” テンプレート:
◆ Workplace search
◆ Ecommerce
◆ Customer support/knowledge bases
14. Coming up:
運⽤⾯でのサポート
近⽇公開 :
➔ Elasticsearch queries for Enterprise Search
➔ Governance / audit log tools
ロードマップ上 :
➔ Unified analytics
➔ Users and roles managed by the Stack
15. Coming up:
関連性
近⽇公開 :
➔ Query performance improvements
➔ NLP-enriched documents
ロードマップ上 :
➔ Model management UI
➔ Semantic search
➔ Image search
17. Observability 8.1 Release Highlights
広く深い視認性 トラブルシューティングの迅速化
Unified
observability
experience
Actionable
observability
OpenTelemetry のログを取り込む
Jenkins ログによる CI/CD パイプライン
の視認性向上
Node.js、Python、Java に対応した
AWS Lambdaトレース
問題を⾒逃さない︓APM トレースの
テールベースサンプリング
19. APM visibility for AWS Lambda
Elastic APM Agent を使⽤して Lambda 関数から
アプリケーショントレースを取得
詳細
なぜそれが重要なのか
● AWS Lambda 関数のエンドツーエンドの観測機能により、
リリースサイクルを⾼速化
● Lambda のトレースと他の Elastic Observability データ
を関連付け、より迅速かつ包括的な根本原因分析を実現
します。
● Node.js、Python、Javaのサポート
Open Telemetry Agent で収集した AWS Lambda 関数
のトレースをバックエンドに表⽰することができます。
GA
OSS Beta
Platinum
Enterprise
Gold
Standard/Basic
Actionable
O11y
20. Elastic APM Solution for AWS Lambda Function (Beta)
● Node.js 、Python 、Java で Lambda インストゥルメンテーション(ベータ版)を
利⽤可能
○ Lambda呼び出しのトレース/トランザクション
○ トリガー固有のデータを取得 (API Gateway, SQS, SNS, S3)
○ コールドスタートのキャプチャ
● Elastic APM Lambda Extension は、Observability データを処理し、APM サーバー
/Elastic Cloud に転送するために使⽤される
○ APM データのディスパッチ中に Lambda の実⾏をアンブロックする。
○ Log と Lambda-Metrics の収集(将来)
Function
Elastic APM
Lambda
Extension
APM Agent
APM Server
21. AWS Lambda で Elastic APM を有効にする⽅法
#1 – Lambda 関数の実⾏を APM インスツルメンテーションで実装
22. AWS Lambda で Elastic APM を有効にする⽅法
#2 - Elastic Lambda Extension をレイヤーとして関数に
追加する (NEW! - use AWS ARN)
24. 次のステップ
8.2
GA
Bug fixes, performance & load
testing. Support of distributed
tracing for diagnosing performance
issues and errors
8.x
Post-GA
Collection of Lambda specific metrics
& logs. Correlation between Lambda
performance, errors and resource
dependencies. Anomaly detection
and alerting
7.16
Experimental
Lambda APM Agents available in
Node.js, Python & Java. APM
Lambda Extension layer for
processing & forwarding of Obs.
data
8.1
Beta
Availability of Elastic APM Lambda
Extension as ARN. UI Improvements
to show additional contextual
information
30. OpenTelemetry Logs
Elastic Observability が OpenTelemetry
Log に対応
● OpenTelemetry APM エージェントに、⼀般的な
ロギングフレームワーク(Log4J、SLF4J...)の⾃動
インストルメントを追加
GA
OSS Beta
Platinum
Enterprise Tech Preview
Gold
Standard/Basic
32. OpenTelemetry Logs
アーキテクチャ
● ベストプラクティス : エッジでの OpenTelemetry
Collector による信頼性とスケーラビリティの向上
● 前提条件
○ Elastic 8.1+
○ Enable logs forwarding on OTel Collectors
GA
OSS Beta
Platinum
Enterprise Tech Preview
Gold
Standard/Basic
33. OpenTelemetry Logs
アーキテクチャ
● ベストプラクティス : エッジでの OpenTelemetry
Collectorによる信頼性とスケーラビリティの向上
● 前提条件
○ Elastic 8.1+
○ Enable logs forwarding on OTel Collectors
○ Otel endpoint reachable from Jenkins Agents
GA
OSS Beta
Platinum
Enterprise Tech Preview
Gold
Standard/Basic
35. Jenkins Logs
Jenkinsの制限事項
● 完全な Observability を得ることができない
● Jenkins でビルドログを⾒る場合、ソフトウェア
デリバリーライフサイクル(SDLC)のトレーサビリティ
と監査は困難
● ストレージの問題で Jenkins の実⾏とスケーリングが
困難
Theme
GA
OSS Beta
Platinum
Enterprise
Gold
Standard/Basic GA
37. Jenkins Logs
アーキテクチャ
● Jenkins コントローラーとエージェントの両⽅が Otel
シグナルを送信する
● ベストプラクティス︓信頼性とスケーラビリティのために
エッジに OpenTelemetry Collector を設置する
● 前提条件
○ Elastic 8.1+
○ Enable logs forwarding on OTel Collectors
○ Otel endpoint reachable from Jenkins Agents
Theme
GA
OSS
Platinum
Enterprise
Gold
Standard/Basic
38. Jenkins Logs
デプロイメントモデル
● Jenkins パイプラインのログコンソールからハイパーリン
クで Kibana に排他的に表⽰されるログ
● Pros
○ 簡単な設定
● Cons
○ Jenkins の画⾯からログが表⽰されなくなった
Theme
GA
OSS
Platinum
Enterprise
Gold
Standard/Basic
39. Jenkins Logs
Deployment Model
● Kibana と Jenkins パイプラインのログコンソールの
両⽅で表⽰されるログ
● Pros
○ ユーザーの皆様にご迷惑をおかけすることはない
○ いくつかの前提条件(8.0以上)を確認すること
ができる
● Cons
○ 読み取り権限を持つ Elasticsearch ユーザー
が必要なため、より複雑な設定になる
Theme
GA
OSS
Platinum
Enterprise
Gold
Standard/Basic
41. Fleet と Integrations の UI に
スーパーユーザー権限が必要なくなる
詳細
なぜそれが重要なのか
● Integrations と Fleet UI の使⽤に必要な
Elasticsearch の幅広い権限が不要になったため、
ES プラットフォームの管理者は Elastic Agent を
より多くのユーザに導⼊することができる
GA
OSS
Platinum
Enterprise
Gold
Standard/Basic
Unified
O11y
44. 現代のセキュリティの基礎、Observability など
エージェントによるホスト検査と応答
● On-demand osquery inspection
● Remote host isolation
ワークフローとの統合が可能
● Security orchestration, automation,
& response (SOAR)
● Security incident response tools
● Ticketing & case management
● Email, Slack, & custom tools
Elastic
Common
Schema
Elasticsearch
あらゆる種類のデータを取り込み、何年も保存し、瞬時に検索・分析することが可能
Kibana
ダッシュボードの監視、MLと相関による⼤規模な検出、
強⼒なワークフローと統合による調査の合理化
Beats
オーバーヘッドを
発⽣させずにデータを出荷
Logstash
サーバーサイドのパイプライン
でデータを処理する
Agent
すべてのホストを保護し、
収集する
Prevent. Detect. Respond.
継続的な監視、⾃動化された脅威防御、調査・対応、脅威ハンティングのために
あらかじめ⽤意されたデータ連携
Cloud: platforms, applications, APM
Network: logs, flows, traffic analysis
Hosts: OS & security logs, state, FIM
Users: activity, context
IoT & OT: sensors, physical security
Threat context: feeds & TIPs, CVEs
ビルトインされた分析
ML jobs, detection rules, investigation
guides, dashboards, searches
Agent によるエンドポイントセキュリティ
● Ransomware & malware prevention
● Memory threat prevention
● Malicious behavior protection
45. Elastic Security 8.1 release highlights
新しいデータソースを取り込み、準備するため
の統合機能があらかじめ⽤意される
拡張された検出内容
効率化されたディテクションエンジニアリング
悪意のある振る舞いに対する保護機能に
より、多様な攻撃⼿法からホストを保護
Elastic Agent によるパケット解析
ポリシーに基づくホスト隔離例外処理とホスト
イベントフィルタリング
アナリストのワークフローを合理化
Automated
Prevention
Extended
Detection
Extended
Response
46. Elastic Security の脅威に関する調査 -
厳選したブログ記事
➔ Elastic protects against data wiper malware
targeting Ukraine: HERMETICWIPER
➔ Exploring Windows UAC bypasses: Techniques
and detection strategies
➔ Identifying exploits and adversary tradecraft of
FORMBOOK information-stealing campaign
➔ Bringing home the bacon (from Cobalt Strike)
➔ Elastic Security verifies new destructive
malware targeting Ukraine: Operation Bleeding
Bear
➔ Analysis of Log4Shell vulnerability & CVE-2021-
45046
➔ Detecting exploitation of CVE-2021-44228
(Log4j2) with Elastic Security
新⼿の攻撃を未然に防ぐ
Elastic Security のリサーチエンジニアがお客様の⼤規模
な保護を⽀援
グローバルな脅威の状況を調査し、プロテクションコンテンツを
作成
47. Capability Windows macOS Linux
Malicious behavior protection Enhanced ↗ Enhanced ↗ Enhanced ↗
Memory threat protection Existing ✓ Existing ✓ Existing ✓
Ransomware prevention via behaviors and MBR Existing ✓ Existing ✓ Existing ✓
Malware prevention via ML Enhanced ↗ Enhanced ↗ Enhanced ↗
Centralized osquery host inspection Existing ✓ Existing ✓ Existing ✓
Host response actions Existing ✓ Existing ✓ Existing ✓
Centralized threat and anomaly detection Enhanced ↗ Enhanced ↗ Enhanced ↗
Centralized administration and use case expansion Existing ✓ Existing ✓ Existing ✓
あらゆるエンドポイントでの脅威を
防⽌
悪意のある⾏動の保護機能を拡張し、新たなベクトル
による攻撃を阻⽌
マルウェア対策機能の継続的な強化
MLジョブを再構築し、より多くのデータソースをサポート
ポリシーごとにイベントフィルタを適⽤し、収集・保存する
イベントの制御を強化することが可能
ポリシーごとにホスト隔離の例外を適⽤し、隔離された
ホストの可視性を維持することが可能
Automated
Prevention
54. Platform 8.1 Release Highlights
Workflows &
Action
Simplicity and
Choice
Analytics
Data
Management
❏ Painless scripting updates
❏ Doc-value only fields
❏ Geohexgrid aggregations
❏ Drag to combine fields
❏ Multiple new visualizations
and updates in Lens
❏ Full vector tile support in
Elastic Maps
❏ Shapefile import
❏ Anomaly Detection Layers
in Maps
57. Doc value only fields
> ストレージサイズを20%以上削減
> インデックス作成のスループットを20%以上向上
インデックスとポイントを反転させない(インデックス︓
false)
集計に影響を与えない (doc_values: true)
クエリパフォーマンスが5〜10倍遅くなる
下記の使⽤法に最適 :
● ほとんどが集計データ
● 別のフィールドにフィルタをかけて照会
● 指標
GA
OSS
Platinum
Enterprise
Gold
Standard/Basic
Data
Managa
ement
Data
Managemen
t
>20%
reduced
storage size
>20% Increased
indexing throughput
Relevant data-
types:
● Numeric
● Date
● Keyword
● IP
● Geo_point
● Boolean
71. 地図上の異常検出レイヤー
Machine Learning & Maps
マップにレイヤーを追加してGeo Anomaly Results
を表⽰する
Geo データをお持ちの⽅(Platinumライセンスをお持ち
の⽅)は、Anomaly Detectionの結果をMapsで表⽰
することができる
● 交通機関利⽤者は、異常な緯度経度の結果を⽂脈
で視覚化することができる
● ⼊⼒データの実際の位置と典型的な位置を⽐較する
ためのレイヤーを追加し、他の⽂脈的な地理データと
ともに異常を表⽰することができる
Analytics
GA
OSS
Platinum