Elastic stack_&_cloud_7.11_updates-summary

Elastic Stack ＆ Cloud
7.11 アップデートダイジェスト版
鈴⽊章太郎
Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト
内閣官房 IT 総合戦略室政府 CIO 補佐官

Elastic
Technical Product Marketing
Manager/Evangelist
内閣官房 IT 総合戦略室
政府 CIO 補佐官
元 Microsoft Technical Evangelist
Twitter : @shosuz
Shotaro Suzuki

Elastic Stack and Cloud 7.11 Release
Agenda
Elasticsearch 7.11
Elastic Stack 7.11
1
Kibana 7.11
2
3
Elastic Enterprise Search 7.11
4
Elastic Observability 7.11
5
Elastic Security 7.11
6
Elastic Cloud 7.11
7

Elastic 7.11 リリースのハイライト
• コスト、パフォーマンス、インサイト、柔軟性の最適化を強⼒に⽀援する各種新機能が搭載
• ⼀般提供 (GA) を開始した Searchable Snapshots
• Schema on read (ベータ版) Elastic Enterprise Searchの新しい Web クローラー（ベータ）
• Elastic オブザーバビリティの Service Health と Host のDetail View を表⽰する機能
• Elastic セキュリティの事前構築済み検知ルール、機械学習ジョブ、カスタマイズ可能なアラート通知、
アナリストの⼀元的な作業スペース
• Elastic Cloud でも複数のリリースアナウンス
• Elastic Cloud でSearchable Snapshotsの強⼒なサポートを開始
• データと機械学習ノードの⾃動スケールに関するアナウンス
• クラスター横断検索（CCS）とクラスター横断レプリケーション（CCR）の強化による可⽤性と検索
パフォーマンスの向上

Elasticsearch と Kibana のライセンスオプションを変更
• Apache 2.0 によりライセンス提供される
コードから、Elastic License と SSPL に基づ
くデュアルライセンス提供に移⾏
• また Elastic は⼤幅なアップデートを通じ
て、Elastic License を⼀層シンプルかつ寛
容なライセンスに
• Elastic の配布パッケージ、ならびに無料・
有償を含む全機能のソースコードは Elastic
License v2 の下に使⽤許諾され、また⼀連
のコアな無料機能群のソースコードは
SSPL v1 によっても使⽤許諾される
• この変更は、Elastic コミュニティの圧倒的
⼤多数のユーザーに、⼀切の影響を与え
ません
https://www.elastic.co/jp/blog/license-change-clarification
https://www.elastic.co/jp/blog/why-license-change-AWS

Elastic Stack リリースのハイライト
• 安価なオブジェクトストアに格納する Searchable Snapshots に
新登場の Cold ティアを組み合わせ、より多くのデータを保持・検索
• ランタイムフィールドで活⽤できる Schema on read が登場
• Elastic Stack と外部システムを横断する新しいアラートフレームワークで
通知の作成と管理、監視を実現

Searchable Snapshots と Cold ティア
• 安価なオブジェクトストアに格納する Searchable Snapshots に新登場の Cold ティア
を組み合わせ、より多くのデータを保持・検索
• Searchable Snapshots
• AWS S3 や Microsoft Azure Storage、Google Cloud Storage など、ローコ
ストオブジェクトストレージに格納されたスナップショットのデータを検索できる
• Elasticsearch クラスターのストレージコストと、検索パフォーマンス、データから取得す
るインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチ
• Searchable Snapshots はストレージコストを⼤幅に減少に引き下げ、また新登場
の Cold ティア機能をサポート
• Cold ティアは今回 GA 移⾏し、Elastic Cloud でも提供を開始
• パフォーマンスへの影響を最⼩限に抑えながら、インフラコストを最⼤50％削減

Schema on read (7.11でベータリリース）
• ランタイムフィールドで、クエリ時にインデックスのスキーマを定義可能に
• スキーマの作成中に新規データや新規のワークフローを発⾒できる
• コストとパフォーマンスのトレードオフ関係について選択しつつ、新しいインサイトの発⾒をもたらす⽐類ない柔軟
性も確保できる
• Elasticsearch は超⾼速の分散型検索・分析エンジン
• データを格納するインデックスがディスク書き込み時に構造化インデックスとして作成されるアプローチ、い
わゆる “Schema on write”のおかげ
• 構造を整理するには、Elasticsearch でデータがどう表現されるかについての理解と準備が⽋かせない
• その分、スピード、スケール、関連性という⼤きなメリットを享受できる
• しかし時には、データスキーマを事前に計画するのではなく、データを新しい切り⼝で探索、調査するアプローチ
が必要となることもある
• そこで今回、検索時にランタイムフィールドに Schema on read を⽤いて流動的なデータストラクチャーを作
成する⽅法が登場
• この⽅法はフレキシブルで、最初にインサイトを取得するまでの時間を短縮できる
• 他⽅で総合的なパフォーマンスではトレードオフとなる部分もある
• そのため、検索シナリオに応じてユーザーが Schema on read と Schema on write をすばやく切り替え
ることができるようになっている

Runtime fields
新しいフィールドタイプ
Defined by a script
グロック/正規表現、あるいはダイナミックルックアップ
Evaluated at query time
マッピングに追加するか、クエリを指定
Works like a regular field
検索、集計、通常のフィールドと同じように視覚化
変換とエンリッチメントに使⽤できる
データが取り込まれた時点で値を追加する
“runtime_mappings”: {
“day_of_week" : {
"type" : "long",
"script" : {
"source" :
"emit(doc[ʻtimestampʼ].value.getDayOfWeek())"
}
}
}
新しいデータソース
変更の処理
新しいワークフローを有効にする
Good for

インデックスの
エラーを修正する
新しい
インデックス付き
フィールドの追加
⼀時フィールドの
使⽤
クエリ時にインデックス
が作成されていない
新しいフィールドを
照会する
(ログ形式の変更等)
Runtime Fields ユースケース
データ準備中
の反復
クエリのコンテキスト内
でのみフィールドを
定義して使⽤する
ランタイムフィールドを
含むインデックス付き
フィールドをシャドウし
て、エラーを直ちに
修正する
コンバージョンを前後
にしてインデックスを
時間の経過とともに
調整する
OODA
Loop
STANDARD | BETA

Runtime fields in Index Templates
インデックステンプレートマッピングエディタ UI サポート
OODA
Loop
STANDARD | GA

● スキーマの柔軟性: フィールドの追加と変更
● ランタイムからインデックスへ、インデックスからランタイムへフィールドを移動する
● クエリパフォーマンスへの影響を軽減するためのインデックス付きフィールドへの依存
● 任意のフィールドと同様に消費される
Runtime fields
Elasticsearch 読み取り時のスキーマ
"runtime_mappings": {
"duration": {
"type": "double",
"script": {
"source": """if(params._source['duration'] == null){return}
else if(doc['browser'].value == "Firefox") {emit(params._source['duration'] / 1000)}
else {emit(params._source['duration'])}"""
}
}
}
OODA
Loop
STANDARD | GA

新しい Alert フレームワークが GA
• 脅威検知、アプリケーションパフォーマンス警告、
物理アセットの追跡まで、データインサイトに基
づいて判断するには、重⼤な変更が⽣じたとき
にタイムリーにアラートが届く仕組みが不可⽋
• このようにタイムリーなアラートを Elastic
Stack に提供する新しいアラートフレームワー
クは7.11リリースで⼀般公開 (GA) に移⾏
• このアラートインターフェースは Elastic セキュリ
ティと Elastic オブザーバビリティに直接組み
込まれている PagerDuty や ServiceNow、
Microsoft Teams といったプラットフォームと
のサードパーティアラート統合に対応する形で
拡張
• また各種アラートは、ロールベースのアクセス制
御機能を使って簡単に管理可能
Kibana 7.11ブログ記事およびElasticsearch 7.11ブログ記事

Alerting
• Kibana をアクション可能にするコア
• 重要なサードパーティプラットフォーム
と統合
• ...どのように動作するかを Elastic
に任せる
•
Elastic Stack における Alerting
OODA
Loop

Alerting
GA に伴うプロダクトサポート✅
グループ化されたアラートの種類✅
「発⽣」と「回復」アラートロジック✅
Microsoft Teams コネクタ✅
強化
OODA
Loop

Alerting OODA
Loop
BASIC
Free and Open2
GOLD PLATINUM ENTERPRISE
アラートの作成 ✅ ✅ ✅ ✅
アクション:
インデックスとログ記録
✅ ✅ ✅ ✅
アクション:
電⼦メール, WebHook, Jira,
Microsoft Teams, Page duty,
Slack
✅ ✅ ✅
アクション:
IBM Resilient, ServiceNow®
ITSM
✅ ✅
2 Elastic License

匿名アクセス
• コラボレーションの柔軟性が向上
• これ以上複雑なリバースプロキシ
なし
• RBAC を使⽤した完全な制御
なぜこれが重要なのか
OODA
Loop
STANDARD | GA

匿名アクセス
• 待望の顧客要求に応える
• コンプライアンスと規制ニーズを持
つ組織をサポート
OODA
Loop
GOLD | GA

ドリルダウン
• ダッシュボードのドリルダウン = GA
• レンズテーブルの URL ドリルダウン
• コンテキストメニューの URL ドリル
ダウン
強化
OODA
Loop

ドリルダウン
• ワークフローを合理化する
• ダッシュボードを意思決定に基づい
て⾏動する場所にする
• 他の重要なプラットフォームへの
直接フックを可能にする
Kibana のドリルダウン
OODA
Loop

ドリルダウン OODA
Loop
BASIC
Free and Open2
GOLD PLATINUM ENTERPRISE
ダッシュボードのドリルダウン
✅ ✅ ✅ ✅
URL ドリルダウン
✅ ✅ ✅
2 Elastic License

Maps
• Elastic Map Server
• Geo Alert : 封じ込め
• トラックレイヤー
• パーセンタイルによるレイヤースタイ
リング
強化
OODA
Loop

Maps: Elastic Maps Server
• エアギャップ環境
• 連邦/公共部⾨
• 最も要求された機能
OODA
Loop
ENTERPRISE | BETA

Maps: Geo alerts
• 資産の追跡/管理
• 新しいアラートタイプ: 封じ込め
• ベータ⚠
•
OODA
Loop
GOLD | BETA

Maps: Tracks layer
• ルートとパスを視覚化する
• 時系列位置データ(GPS、
センサーなど)
•
OODA
Loop
GOLD | GA

Maps: Style layer by percentile
簡単な視覚分析
地理空間解析でデータ分布を表⽰
する柔軟性
OODA
Loop
STANDARD | GA

Lens
カラーパレット
グラフのラベルをカスタマイズする
ドラッグで、データテーブル、円グラフ、
および TRE マップのフィールドの順序
を変更する
CSV エクスポート
強化
OODA
Loop
STANDARD | GA

Lens
• パワー、柔軟性、使いやすさから、
Kibana 内のデフォルトの視覚化
ツール
• ユースケースには関係なく、データ
アナリストに好評
Kibana Lens
OODA
Loop
STANDARD | GA

Tags
• タグを作成し保存したオブジェクト
に割り当てる
• タグを⼀元管理
• タグを⼀括で割り当て、削除する
• Kibana ナビゲーション検索でタグ
を使⽤する
強化
STANDARD | GA
OODA
Loop

Tags
• Kibana でコンテンツを整理する
ための素晴らしい機能
• 数百、数千の資産を持つお客様
にとって重要
• Kibana の検索と観測可能性の
⼒を拡張
•
タグ付けは..
OODA
Loop
STANDARD | GA

Machine Learning:
7.11 の新機能
• スペース対応 ML Job
• 新しい変換タイプ: 最新
• データフレーム分析 UI マップ
ビュー
• データビジュアライザーの新しい
レイアウトデザイン
強化
OODA
Loop

Machine Learning:
スペースあたりの ML ジョブの管理
• ML ジョブは 1 つ以上のスペース
に追加できる
• 異常検出とデータフレーム分析
ジョブ
• 注意: カレンダー、フィルタルール、
推論モデルは、すべてのスペースに
表⽰される
•
OODA
Loop
PLATINUM | GA

Machine Learning:
変換タイプ - 最新
• 最新のイベント (最終購⼊、最終
トランザクションなど) を追跡する
場合に必要
• 最新のドキュメントを新しいコピー
先のインデックスにコピーできる
• 最新の状態を記録する
• 例: 前回エージェントが報告し
た⽇時、最後のログイン、
最新のアクション
•
OODA
Loop
PLATINUM | GA

Machine Learning:
データフレーム分析 UI マップビュー
• ジョブ、インデックス変換、モデルの
接続ビューを提供
• データフレームジョブパイプライン
の表⽰に役⽴ちます。
• 依存関係を⼿動で追跡する必要
があるお客様の負担を軽減
OODA
Loop
PLATINUM | GA

Machine Learning:
データビジュアライザーテーブルビュー
• インデックスを視覚化して、より多く
の結果を表⽰し、ナビゲートしやす
くする
• ML ジョブを作成する前にフィール
ドとインデックスを確認する
• 詳細を掘り下げる
•
OODA
Loop
STANDARD | EXPERIMENTAL

Searchable Snapshots - Now GA in 7.11
• S3 およびその他のオブジェクト・ストアの
使⽤法を変換する
• 3 つのクラウドプロバイダーすべて
• オンプレミス
● ECK と ECE
● 複数のオブジェクトストア(MinIO,など)
•
• スナップショットをより効果的に活⽤
• 無制限のデータ量を検索する
• 新しい Cold Tier、Frozen Tier に
パワーを与える
オブジェクトストアを最⼤限活⽤する
OODA
Loop
ENTERPRISE | GA

Cold Tier - Now GA and in Elastic Cloud
OODA
Loop
ENTERPRISE | GA

Cold Tier vs AWS UltraWarm
⼤きなトレードオフ
Cold Tier AWS UltraWarm
移植性 ✔ ● All three cloud providers
● On-premises
● ECK and ECE
● Multiple object stores
(MinIO, etc.)
✘ ● Only available on AWS ES
● Not part of OpenDistro
クエリ実⾏可能性 ✔ ● Async search
● Kibana streaming results
● Cold Tier optimizations
✘ ● Timeouts
● Infrastructure not in place to
manage long running queries
サポート ✔ ● Makers of Elasticsearch
● Large number of Cold Tier
improvements after AWS
fork
✘ ● To be determined…
● High risk, no relationship with
Elastic
OODA
Loop

geo_line Aggregation
geo_points + timestamp = geo_line
● ⼀連の場所からパスへ
● 資産追跡を頻繁に要求する
● 有料ライセンス geo 機能
● geo_points セットの集計
● GeoJSON ラインストリング内
● フィールドによるソート
(timestamp 等)
OODA
Loop
GOLD | GA

Audit security
configuration changes

セキュリティ構成の変更を監査する
rest
Transport new
event type
...
security_config_change
● ユーザーの作成と削除
● パスワードの変更
● ロールとロールマッピングの作成と削除
● API キーの作成と無効化
• ユーザーは、すべての呼び出しに対して要求本⽂をキャプ
チャせずに、⾼レベルのセキュリティイベントを監査できる
• 各エントリは、関連する詳細を識別し、さらに分析を実⾏
するために使⽤できる構造化データとして使⽤できるように
する

Event Query Language (EQL)
● ':' 演算⼦のワイルドカードサポート
● ':' 演算⼦のリスト宣⾔
● ベンチマークおよびテストカバレッジの向上
● その他のクエリの最適化
● 検出エンジンで EQL ルールをテストする
GA Release!
OODA
Loop
STANDARD | GA

Web クローラーが新登場
• ユーザーはパワフルな Web クローラーを使って
コンテンツをインジェストすることも可能に
• Web クローラーはパブリックにアクセス可能な
Web サイト情報を取得し、コンテンツを、使
われている App Search エンジンで⼿軽に検
索可能に
• App Search の他のインジェスト⽅法と同様、
スキーマの推論はインジェスト時に実⾏
• 1クリックでほぼリアルタイムにアップデート
できる
• ユーザーはコードを書かずにクリックだけで
Web クローラーをカスタマイズ
• 除外するページやコンテンツ、語句などの
ルールを Web クローラーに指⽰
• エントリーポイントを指定可能
Elastic App Searchに新しいWebクローラーが登場

Box に保存したコンテンツ検索のサポートを拡充
• Workplace Search の
コンテンツソースとして Box
のサポートを開始
• 事前構築済みのコネク
ターにはドキュメントレベル
の権限機能が搭載
• 適切なユーザーに適切な
コンテンツを表⽰
• Google Drive や
Dropbox に Box が
コンテンツソースサポート
対象に追加

Jira Cloud と Confluence Cloud 向けに
きめ細やかなアクセス制御の提供を開始
• Elastic Workplace Search は、Atlassianの Jira Cloudと
Confluence Cloud でドキュメントレベルの権限サポートを開始
• Elastic Workplace Search から権限を引き継ぎ、同じものを前出の
ソースアプリケーションに設定できる
エンタープライズサーチ7.11リリースブログ

Elastic APM の新しいサービスヘルスビュー
• 最新のクラウドネイティブなアプリケーション
は、典型的には数百のマイクロサービスの
上に成り⽴つ
• したがってインシデント調査のワークフロー
には、個々のサービスのパフォーマンスとヘ
ルスをピンポイントで速やかに特定する能
⼒が不可⽋
• 今回登場した“サービス概要ページ”は、
サービスのヘルスに関するすべての情報を
⼀元的に要約して表⽰
• これにより、開発者や SREs はパフォーマ
ンスの問題のトラブルシューティングをより
⼿軽に実⾏することが可能になる
Elasticオブザーバビリティ7.11ブログ記事

Elastic Metrics の新しいホスト詳細ビュー
• Elastic Metrics アプリのリソース
ヒートマップは、インフラストラクチャー
内のトラブルを発⾒し、後続の調査
ステップを絞り込む上で役⽴つ
• Metrics UI の新しいビューを使うと、
⾼次のビューから簡単に移動して、
個々のホストで何が起きているか調
査することができる
• ヒートマップのタイルをクリックするとポッ
プアップウインドウが開き、主要なホス
トのメトリック、ホストで⽣成されたロ
グ、ホストで実⾏中のプロセス、ホス
トのメタデータの時系列チャートなど、
主要な情報を確認できる
Elasticオブザーバビリティ7.11ブログ記事

Elastic Common Schema（ECS）の
新しいロギングライブラリ
• アプリケーションのトラブルシューティングのワークフ
ローには、アプリケーションのログとトレースを相関
付け、コンテクストを失うことなく画⾯を移動でき
る操作性が不可⽋
• APMエージェントが捉えたトレースコンテクストが
アプリケーションログに⾃動で挿⼊され、ログから
スムーズな分析に必要な相関関係をトレースす
ることができる
• ECS のロギングライブラリには、log4j をはじめと
する⼈気のロギングフレームワーク向けプラグイン
• 開発者はこれを使って、ネイティブなワークフロー
を変更することなく、ECS 準拠の JSON 形式
でアプリケーションログを書き出すことができる
• ECS ロガーは APM エージェントが捕捉した関
連するトレースコンテクストを⾃動でログに書き込
む
• 開発者は特別な作業を⾏うことなく、“オブザーブ
可能な”アプリケーションを開発することが可能 Elasticオブザーバビリティ7.11ブログ記事

加速されたアラート管理ワークフロー
• MITER ATT＆CK®サブテクニカルコンテキスト
• ルールアクションの拡張セット
Elastic セキュリティ7.11リリースブログ

しきい値ルールと ML ルールのルール例外
• ユーザーは、ML ルールとしきい値
ルールの例外を作成可能に
• 統⼀されたルール管理エクスペリ
エンスをサポート
• 基になる ML ジョブを変更せずに
ML ルールの例外条件を作成可
能に

7.11 で刷新された Timeline ワークスペース
• タイムラインワークスペースの更新
• タブ付きタイムライン情報
• タイムラインの切り替えと更新
• 全画⾯表⽰

ElasticON Enterprise Search Japan (4/14)
https://www.elastic.co/elasticon/enterprise-search/japan

Elastic Cloud アップデート
• S3 などのオブジェクトストアに
検索可能スナップショットを⼊れ
て使える Cold ティアが新登場
• データの⾃動スケールと機械学
習ノードを活⽤したクラウドのス
ケールと運⽤合理化
• リージョンとクラウドプロバイダー
を横断してデータを複製、検索
Elastic Cloud 7.11の最新情報ブログ

アプリケーション開発オンデマンドウェビナー特集
https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx
• Elastic の Search API を Visual Studio
Code でコーディングする (1) - (3)
• Elastic Cloud で Azure Kubernetes
Serviecs の様々な Log/Metrics/APM を
可視化する
• ASP.NET Core 3.x Web アプリのログを
Elastic Cloud で収集・分析してみよう︕

Elastic Webinar (3/3)
https://www.elastic.co/jp/webinars/moving-from-on-prem-to-managed-services-with-elastic-on-azure-live

Cloud Native Days 2021 (3/11-)
https://event.cloudnativedays.jp/cndo2021/talks/921

Elastic 7.11 新機能
ソリューション/プロダクト別ブログ記事
• Elastic Stack
‒ Elasticsearch 7.11.0リリース（ブログ記事）
‒ Kibana 7.11.0リリース（ブログ記事）
• Elasticのソリューション
‒ Elasticエンタープライズサーチ7.11.0リリース（ブログ記事）
‒ Elasticオブザーバビリティ7.11.0リリース（ブログ記事）
‒ Elasticセキュリティ7.11.0リリース（ブログ記事）
• Elastic Cloud
‒ Elastic Cloud 7.11.0の最新情報（ブログ記事）
‒ Elastic Cloudの無料トライアルを開始

Thank You for your attention!
elastic.co

Elastic stack_&_cloud_7.11_updates-summary

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Elastic stack_&_cloud_7.11_updates-summary

Similar to Elastic stack_&_cloud_7.11_updates-summary (20)

More from Shotaro Suzuki

More from Shotaro Suzuki (20)

Recently uploaded

Recently uploaded (9)

Elastic stack_&_cloud_7.11_updates-summary