Download as PDF, PPTX
![Beta
Platinum
Enterprise
Gold
Standard/Basic Experimental
エンジンごとに設定可能な
シャード数
なぜそれが重要なのか
API 経由でより多くのシャード数を持つエンジン
を作成可能
⼤規模環境でのスケールアップを実現
GA
OSS GA
All license levels
curl -X POST 'https://[instance
id].ent.[region].[provider].cloud.es.io:443/api/as/v1/engi
nes' ¥
-H 'Content-Type: application/json' ¥
-H 'Authorization: Bearer private-xxxxxxxxxxxxxxxxxxxx'
¥
-d '{
"name": "my-large-engine",
"index_create_settings_override": {
"number_of_shards": 10
}](https://image.slidesharecdn.com/introducingtheelastic8-220224041611/75/Introducing-the-elastic-8-0-release-a-new-era-of-speed-scale-relevance-and-simplicity-15-2048.jpg)
![Beta
Platinum
Enterprise
Gold
Standard/Basi
c
Experimental
Geolocation Sorting
なぜそれが重要なのか
Search API により、検索結果を指定した地点
からの距離でソートすることができます。
GA
OSS GA
All license
levels
curl -X GET 'https://[instance
id].ent.[region].[provider].cloud.es.io:443/api/as/v1/engines/national-parks-
demo/search' ¥
-H 'Content-Type: application/json' ¥
-H 'Authorization: Bearer search-soaewu2ye6uc45dr8mcd54v8' ¥
-d '{
"query": "park",
"sort": [
{
"location": {
"center": [38.89, -77.08],
"order": "asc"
}
},
{
"title": "asc"
}
]
}'](https://image.slidesharecdn.com/introducingtheelastic8-220224041611/75/Introducing-the-elastic-8-0-release-a-new-era-of-speed-scale-relevance-and-simplicity-16-2048.jpg)
![Beta
Platinum
Enterprise
Gold
Standard/Basic Experimental
Simplified Query
Correlation 簡易クエリ相関
なぜそれが重要なのか
Enterprise Search のクエリと Elasticsearch
のクエリとの相関関係を簡素化。
X-Enterprise-Search-Debug: true ヘッダで
起動された Enterprise Search API クエリには、
基となる Elasticsearch のリクエストとレスポンス
が含まれます。
GA
OSS GA
All license levels
$ curl -s -uelastic:changeme 'localhost:3002/api/as/v1/engines/my-meta-
engine/search' -H 'Content-Type: application/json' -H 'X-Enterprise-Search-
Debug: true' -d '{"query":""}' | jq .meta
{
"alerts": [],
"warnings": [],
"precision": 2,
"page": {
"current": 1,
"total_pages": 1,
"total_results": 6,
"size": 10
},
"engine": {
"name": "my-meta-engine",
"type": "meta"
},
"elasticsearch": {
"request_header": { ... },
"request_body": { ... },
"response": { ... }
},
"request_id": "fcbf3c18-472a-4c06-98d5-6490c3efd9e0"
}](https://image.slidesharecdn.com/introducingtheelastic8-220224041611/75/Introducing-the-elastic-8-0-release-a-new-era-of-speed-scale-relevance-and-simplicity-17-2048.jpg)
![Beta
Platinum
Enterprise
Gold
Standard/Basi
c
Experimental
Simplified Query
Profiling クエリプロファイリングの簡略化
なぜそれが重要なのか
X-Enterprise-Search-Profile: true を
指定すると、Enterprise Searchクエリのクエリ
プロファイリングが利⽤できます。
Elasticsearch Profiling API を活⽤します。
GA
OSS GA
All license
levels
$ curl -s -uelastic:changeme 'localhost:3002/api/as/v1/engines/my-meta-
engine/search' -H 'Content-Type: application/json' -H 'X-Enterprise-Search-Profile:
true' -d '{"query":""}'
"profile": {
"shards": [
{
"id": "[rRA2W-p4SbS9myI865zQDw][.ent-search-engine-
documents-me-test-engine-1][0]",
"searches": [
{
"query": [...],
"rewrite_time": 51443,
"collector": [...]
}
],
"aggregations": [...]
}
]
}](https://image.slidesharecdn.com/introducingtheelastic8-220224041611/75/Introducing-the-elastic-8-0-release-a-new-era-of-speed-scale-relevance-and-simplicity-18-2048.jpg)
![$ ./bin/elasticsearch
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.
ℹ Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
rF9rNFzJuB9Ay29*00j4
ℹ HTTP CA certificate SHA-256 fingerprint:
bf2409b479d26c63dd1755624ccd2125cb19a2f785da78eb3e67673306ae4613
ℹ Configure Kibana to use this cluster:
• Run Kibana and click the configuration link in the terminal when Kibana starts.
• Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):
eyJ2ZXIiOiI4LjAuMCIsImFkciI6WyIxMC4xNTYuMC4xNTo5MjAwIl0sImZnciI6ImJmMjQwOWI0NzlkMjZjNjNkZDE3NTU2MjRjY2QyMTI1Y2Ix
OWEyZjc4NWRhNzhlYjNlNjc2NzMzMDZhZTQ2MTMiLCJrZXkiOiJzZTRJdFg0QmVPWFhBZDZ0QU9vTDp2UzFTYkdsQlJnaVB2MGY3akNqd3ZnIn
0=
ℹ Configure other nodes to join this cluster:
• On this node:
⁃ Create an enrollment token with `bin/elasticsearch-create-enrollment-token -s node`.
⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml.
⁃ Restart Elasticsearch.
• On other nodes:
⁃ Start Elasticsearch with `bin/elasticsearch --enrollment-token <token>`, using the enrollment token that you generated.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
$ ./bin/kibana
[2022-02-01T12:32:54.636+01:00][INFO ][plugins-service] Plugin "metricsEntities" is disabled.
[2022-02-01T12:32:54.722+01:00][INFO ][http.server.Preboot] http server running at http://localhost:5601
[2022-02-01T12:32:54.769+01:00][INFO ][plugins-system.preboot] Setting up [1] plugins: [interactiveSetup]
[2022-02-01T12:32:54.771+01:00][INFO ][preboot] "interactiveSetup" plugin is holding setup: Validating Elasticsearch
connection configuration…
[2022-02-01T12:32:54.813+01:00][INFO ][root] Holding setup until preboot stage is completed.
i Kibana has not been configured.
Go to http://localhost:5601/?code=535232 to get started.
Simplicity
and
Choice
Elastic Stack Security の簡略化
導⼊の流れ
GA
OSS
Platinum
Enterprise
Gold
Standard/Basic
1
Elasticsearch を起動し、エンロールメントトークンを取得します。
2 Kibana を実⾏し、リンクをクリック
します。
3 トークンを貼り付けます。
4 セットアップを待機します。
5
elastic ユーザー
として接続します。](https://image.slidesharecdn.com/introducingtheelastic8-220224041611/75/Introducing-the-elastic-8-0-release-a-new-era-of-speed-scale-relevance-and-simplicity-60-2048.jpg)
Uploaded byShotaro Suzuki
Introducing the elastic 8.0 release a new era of speed, scale, relevance, and simplicity
Elastic 8.0 リリースのご紹介：スピード、スケール、関連性、シンプルさの新時代 https://www.elastic.co/jp/virtual-events/whats-new-in-elastic-8-0
More Related Content
Similar to Introducing the elastic 8.0 release a new era of speed, scale, relevance, and simplicity
Introducing the elastic 8.0 release a new era of speed, scale, relevance, and simplicity
- 1. Elastic 8.0 リリースのご紹介︓ スピード、スケール、関連性、シンプルさの新時代 鈴⽊章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト デジタル庁 省庁業務グループ ソリューションアーキテクト
- 2. Elastic Technical Product Marketing Manager/Evangelist デジタル庁 省庁業務グループ ソリューションアーキテクト 元Microsoft Technical Evangelist Twitter : @shosuz Shotaro Suzuki
- 3. l Enterprise Search8.0 の新機能 l 8.0 Technical Enablement – NLP と ML のサードパーティモデル l Platform /Observability 8.0 の新機能 アジェンダ
- 4. The Elasticsearch Platform EnterpriseSearch Observability Security Kibana Explore, Visualize, Engage Elasticsearch Store, Search, Analyze Integrations Connect, Collect, Alert Public cloud Hybrid On-premises In a world where endless data creates endless possibility, search helps people and organizations thrive.
- 5.
- 6. エンタープライズサーチは Kibana のみで管理されるようになりました。 Enterprise Search8.0 リリースハイライト Kibana UI Observability for Enterprise Search Connectors and Crawler モニタリング データ 取り込み ⼀元化 Stack Monitoring に Enterprise Search モジュールが追加されました。 クローラー API の GA と コネクターの改善
- 8. Beta Platinum Enterprise Gold Standard/Basi c Experimental Enterprise Search は Kibanaのみ🎉 さようなら、スタンドアロンUI ⼀貫性のあるクロスプラットフォームナビゲーション により、お客様の使い勝⼿を向上させます。 新たなユースケースと摩擦のないアカウント拡張 を顧客に提供 Kibana で利⽤可能な検索インサイトとビジュア ライゼーションにすぐにアクセスできるようになります。 GA OSS GA All license levels
- 9. Aug 2020 Aug2021 Dec 2021 Feb 2022 7.16 Kibana-only Enterprise Search 8.0 7.14 Enterprise Search Kibana が GA に到達 ダッシュボードの移⾏ （ベータ版） 7.9 Kibana における Enterprise Search の概要 Kibana で Enterprise Search を管理する : 2年間のタイムライン
- 10. Beta Platinum Enterprise Gold Standard/Basic Experimental Auth 領域パリティ作業完了 なぜそれが重要なのか Kibanaと Enterprise Search の移⾏が 完了し、⼀貫したサポートが可能になりまし た。 多⽬的クラスタにおけるレルムの混在に伴う 混乱や複雑さを回避することが可能。 Enterprise Search の機能セットによる 摩 擦のない発⾒をサポートします。 GA OSS GA All license levels 既存のサポート • ES Native • SAML • OpenID Connect (e.g. Google Accounts, GitHub Auth, etc) • Active Directory • LDAP • PKI New as of 8.0 • Kerberos
- 11. Beta Platinum Enterprise Gold Standard/Basic Experimental Enterprise Searchの モニタリング なぜそれが重要なのか ユーザーは、以下のような Elastic ツールを 使って、Enterprise Search の導⼊を簡単 に監視できます。 ● Stack Monitoring - 8.0 の新機能! ● External Metricbeat module ● Self-monitoring ● Pre-built Dashboards ● Monitoring APIs ● Elastic APM Integration GA OSS GA All license levels
- 12. Beta Platinum Enterprise Gold Standard/Basic Experimental Enterprise Searchの モニタリング 7.16以降のセルフモニタリング 1⾏の設定変更 Cloud︓ログとメトリックスをデプロイメントに 出荷する 下記の構成も可能: - 期間 - メトリックセット - 使⽤したインデックス名 GA OSS GA All license levels # enterprise-search.yml monitoring.reporting_enabled: true
- 13. Beta Platinum Enterprise Gold Standard/Basic Experimental Enterprise Searchの モニタリング Dashboard と Stack Monitoring モニタリングのためのダッシュボードがあらかじめ ⽤意されています。(7.16+) レポ︓elastic/ent-search-monitoring Or Metricbeat (7.16+) 経由でインストール Or Stack Monitoring (8.0) GA OSS GA All license levels
- 15. Beta Platinum Enterprise Gold Standard/Basic Experimental エンジンごとに設定可能な シャード数 なぜそれが重要なのか API 経由でより多くのシャード数を持つエンジン を作成可能 ⼤規模環境でのスケールアップを実現 GA OSSGA All license levels curl -X POST 'https://[instance id].ent.[region].[provider].cloud.es.io:443/api/as/v1/engi nes' ¥ -H 'Content-Type: application/json' ¥ -H 'Authorization: Bearer private-xxxxxxxxxxxxxxxxxxxx' ¥ -d '{ "name": "my-large-engine", "index_create_settings_override": { "number_of_shards": 10 }
- 16. Beta Platinum Enterprise Gold Standard/Basi c Experimental Geolocation Sorting なぜそれが重要なのか Search APIにより、検索結果を指定した地点 からの距離でソートすることができます。 GA OSS GA All license levels curl -X GET 'https://[instance id].ent.[region].[provider].cloud.es.io:443/api/as/v1/engines/national-parks- demo/search' ¥ -H 'Content-Type: application/json' ¥ -H 'Authorization: Bearer search-soaewu2ye6uc45dr8mcd54v8' ¥ -d '{ "query": "park", "sort": [ { "location": { "center": [38.89, -77.08], "order": "asc" } }, { "title": "asc" } ] }'
- 17. Beta Platinum Enterprise Gold Standard/Basic Experimental Simplified Query Correlation簡易クエリ相関 なぜそれが重要なのか Enterprise Search のクエリと Elasticsearch のクエリとの相関関係を簡素化。 X-Enterprise-Search-Debug: true ヘッダで 起動された Enterprise Search API クエリには、 基となる Elasticsearch のリクエストとレスポンス が含まれます。 GA OSS GA All license levels $ curl -s -uelastic:changeme 'localhost:3002/api/as/v1/engines/my-meta- engine/search' -H 'Content-Type: application/json' -H 'X-Enterprise-Search- Debug: true' -d '{"query":""}' | jq .meta { "alerts": [], "warnings": [], "precision": 2, "page": { "current": 1, "total_pages": 1, "total_results": 6, "size": 10 }, "engine": { "name": "my-meta-engine", "type": "meta" }, "elasticsearch": { "request_header": { ... }, "request_body": { ... }, "response": { ... } }, "request_id": "fcbf3c18-472a-4c06-98d5-6490c3efd9e0" }
- 18. Beta Platinum Enterprise Gold Standard/Basi c Experimental Simplified Query Profiling クエリプロファイリングの簡略化 なぜそれが重要なのか X-Enterprise-Search-Profile:true を 指定すると、Enterprise Searchクエリのクエリ プロファイリングが利⽤できます。 Elasticsearch Profiling API を活⽤します。 GA OSS GA All license levels $ curl -s -uelastic:changeme 'localhost:3002/api/as/v1/engines/my-meta- engine/search' -H 'Content-Type: application/json' -H 'X-Enterprise-Search-Profile: true' -d '{"query":""}' "profile": { "shards": [ { "id": "[rRA2W-p4SbS9myI865zQDw][.ent-search-engine- documents-me-test-engine-1][0]", "searches": [ { "query": [...], "rewrite_time": 51443, "collector": [...] } ], "aggregations": [...] } ] }
- 19. Web Crawler の改善 WebCrawler API は 8.0 で GA HTTP Authentication Support Basic 認証で保護されている Web サイトに対して、 クロール時にログイン情報を提供することでクロールを 開始することができるようになりました。現時点では API のみ、Platinum+ ライセンスが必要です。 HTTP Proxy Support Web Crawler は、認証の有無にかかわらず、HTTP プロキシ経由でコンテンツをクロールすることができます。 現時点では API のみ、Platinum+ ライセンスが 必要です。 🎉
- 20. Web Crawler の改善 PartialCrawl API 部分クロール API は、お客様がクロールの範囲を 狭めるなど、カスタムな設定で実⾏するクロールを 作成することができます。部分クロールの設定は、 クロールのリクエスト時に提供され、グローバルに 設定された設定を置き換えます。現時点では API のみの提供です。
- 22. Beta Platinum Enterprise Gold Standard/Basic Experimental GitHub、Salesforce、 ServiceNow のコネクター の改善 なぜそれが重要なのか 顧客は、主要なコネクターに、より⾼い柔軟性と コンフィギュラビリティを期待しています。 GA OSSGA All license levels GitHub Connector Enhancements Markdown ファイルの同期 GitHub Apps を 顧客としての GitHub の新しい認証メカニズムとした Salesforce Connector Enhancements 標準オブジェクトのカスタムフィールドをサポート ServiceNow Connector DLP support ServiceNow の Document Level Permissions のサポートが拡張された
- 23. 8.0 Technical Enablement –NLP と ML のサードパーティモデル
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. BERT と転移学習 モダン NLPとは︖ • マスク⾔語によるモデリング ‒ The man went to the ____ to buy a ____ of milk ‒ store, gallon ✅ ‒ running, perfect ❎ • 次の⽂章予測 ‒ The man went to the store. ‒ He bought a gallon of milk. ✅ ‒ Penguins are flightless. ❎
- 33. ⾃然⾔語を利⽤したきめ細かなタスク NLP タスク ●抜粋情報 ○ フィルマスク ○名前付き固有表現認識 (NER) ●テキストの分類 ○ センチメント分析・バイナリテキスト分類 ○ ゼロショット分類 ●テキストを検索・⽐較する ○ テキスト＆センテンスエンベッディング
- 34.
- 35. センチメント分析 NLP タスク ●"これはとても素晴らしい映画だった、本当に楽しかった” →ポジティブ ●"うーん、でもマジであのエンディングはひどかった” → ネガティブ
- 36. ゼロショット分類 NLP タスク • "誰か助けて!パスワードを紛失して しまい、アカウントにアクセスする必要が あります。iPhoneを使っているのです が、指紋認証ログインも使えなくなって しまいました" • 可能なクラス︓モバイル、Web サイト、 iOS、Android、課⾦、アカウント、 緊急
- 37. 要約 NLP タスク ●Wikipedia: Amazonrainforest ○ 「アマゾンの熱帯⾬林、またはアマゾンのジャングル、アマゾニアは、南アメリカのアマゾン 流域の⼤部分を占めるアマゾン⽣物群に属する湿潤広葉樹の熱帯⾬林である。 この流域は7,000,000km2（2,700,000平⽅マイル）に及び、そのうち 5,500,000km（2,100,000平⽅マイル）が熱帯⾬林に覆われている。この地域 には9つの国家と3,344の先住⺠族の領⼟があります。」 ●Summary: ○ 「アマゾンの熱帯⾬林、またはアマゾンのジャングル、アマゾニアは、南アメリカにある湿っ た広葉樹の熱帯⾬林である。」
- 38. 質疑応答 NLP タスク ●Wikipedia: Amazonrainforest ○ 「アマゾンの熱帯⾬林、またはアマゾンのジャングル、アマゾニア (the Amazon Jungle or Amazonia）は、南アメリカのアマゾン流域の⼤部分を占めるアマゾン⽣物群に属する湿潤広葉 樹の熱帯⾬林である。この流域は7,000,000 km2（2,700,000平⽅マイル）に及び、そのう ち5,500,000 km2（2,100,000平⽅マイル）が熱帯⾬林に覆われている。この地域には、9つ (nine)の国家と3,344の先住⺠族の領⼟がある。」 ●Q:アマゾンの熱帯⾬林を英語で表現するときにも使われる名前はどれでしょう︖ ●A: the Amazon Jungle or Amazonia ●Q:アマゾンは何カ国をカバーしているのですか︖ ●A: nine
- 39. 翻訳 NLP タスク • 🇬🇧Welcome to my presentation on modern NLP in the Elastic Stack! • 🇩🇪 Willkommen zu meiner Präsentation über modernes NLP im Elastic Stack!
- 40.
- 41. Elasticsearch に NLPモデルを統合するメリット ●インフラストラクチャーとモデル管理 ●パフォーマンス ●データプライバシーとコンプライアンス
- 42. ●最も⼈気のあるモダンな ML ライブラリの1つ ●ディープニューラルネットワーク ●研究・産業界で広く採⽤されている ●Facebookによる積極的なサポートと開発 (メンテナ) ●安定した API と機能性 ●ネイティブライブラリ libtorch ●PyTorch のモデルを TorchScript で書き出すことができます。 PyTorch
- 43. PyTorch vs. Tensorflow 現在最も⼈気のある2つのDeep Learning フレームワーク
- 44. モデルの準備とアップロード Huggingface.co $ eland_import_hub_model --url https://Cluster_URL--hub-model- id bert_model --task-type text_embedding --start
- 45.
- 46.
- 48. Elastic Stack 8.0の NLP で⽇本語センチメント分析を試してみた https://qiita.com/ijokarumawak@github/items/9b0c2d650536488718a5
- 49.
- 50. 対応モデルマトリックス 最初のリリースでは、すべての PyTorch モデルはサポートされません ●互換性モデルマトリックス⽂書 ●8.0では、下記の NLP タスクのサポートが含まれています。 ᐨ フィルマスク ᐨ 固有表現認識 (NER) ᐨ テキスト分類 (バイナリおよびマルチクラス) ᐨ テキスト埋め込み ᐨ ゼロショット分類 ●8.X 以降でサポートされるのは : ᐨ 質問応答 ᐨ 翻訳 ᐨ …
- 51.
- 52. テクニカルリソースはこちら ●ElasticON talk withJosh Devins ●ステップバイステップ NLP チュートリアル ○Slides ○Video walkthrough ●Elastic community NLP discussion with Ben Trent and Jay Miller ●ブログは近⽇公開予定... ●Introduction to modern NLP with PyTorch in Elasticsearch ○ ANN in Search ○ NLP getting started and end-to-end examples
- 53.
- 54. OpenAI CLIP modelconnects images and text
- 55.
- 56. Platform / Observability8.0 リリースハイライト ワークフロー& アクション シンプリシティと選択 分析 ❏ スタックセキュリティの簡略化 ❏ AWS マーケットプレイス ❏ AWS サーバーレスログインジェスト ❏ Elastic Agent で AWS CloudWatch のログ⼊⼒に対応 ❏ AWS S3 ストレージレンズの統合 ❏ Azure Elastic Agent の統合 ❏ インテグレーション Cassandra と vSphere データ マネジメント ❏ 今回のリリースでは該当なし ❏ スピードとパフォーマンスの向上 (Lucene) ❏ KNN エンドポイント ❏ 機械学習︓サードパーティモデル と NLP ❏ フィールド統計と Discover ❏ 可視化・表⽰機能 ❏ Elastic Maps でベクタータイル を完全サポート ❏ アップグレードアシスト ❏ CI/CD の強化 ❏ アラート機能の改善 ❏ APM UI の強化
- 57.
- 58.
- 59.
- 60. $ ./bin/elasticsearch ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ✅ Elasticsearchsecurity features have been automatically configured! ✅ Authentication is enabled and cluster connections are encrypted. ℹ Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`): rF9rNFzJuB9Ay29*00j4 ℹ HTTP CA certificate SHA-256 fingerprint: bf2409b479d26c63dd1755624ccd2125cb19a2f785da78eb3e67673306ae4613 ℹ Configure Kibana to use this cluster: • Run Kibana and click the configuration link in the terminal when Kibana starts. • Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes): eyJ2ZXIiOiI4LjAuMCIsImFkciI6WyIxMC4xNTYuMC4xNTo5MjAwIl0sImZnciI6ImJmMjQwOWI0NzlkMjZjNjNkZDE3NTU2MjRjY2QyMTI1Y2Ix OWEyZjc4NWRhNzhlYjNlNjc2NzMzMDZhZTQ2MTMiLCJrZXkiOiJzZTRJdFg0QmVPWFhBZDZ0QU9vTDp2UzFTYkdsQlJnaVB2MGY3akNqd3ZnIn 0= ℹ Configure other nodes to join this cluster: • On this node: ⁃ Create an enrollment token with `bin/elasticsearch-create-enrollment-token -s node`. ⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml. ⁃ Restart Elasticsearch. • On other nodes: ⁃ Start Elasticsearch with `bin/elasticsearch --enrollment-token <token>`, using the enrollment token that you generated. ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ $ ./bin/kibana [2022-02-01T12:32:54.636+01:00][INFO ][plugins-service] Plugin "metricsEntities" is disabled. [2022-02-01T12:32:54.722+01:00][INFO ][http.server.Preboot] http server running at http://localhost:5601 [2022-02-01T12:32:54.769+01:00][INFO ][plugins-system.preboot] Setting up [1] plugins: [interactiveSetup] [2022-02-01T12:32:54.771+01:00][INFO ][preboot] "interactiveSetup" plugin is holding setup: Validating Elasticsearch connection configuration… [2022-02-01T12:32:54.813+01:00][INFO ][root] Holding setup until preboot stage is completed. i Kibana has not been configured. Go to http://localhost:5601/?code=535232 to get started. Simplicity and Choice Elastic Stack Security の簡略化 導⼊の流れ GA OSS Platinum Enterprise Gold Standard/Basic 1 Elasticsearch を起動し、エンロールメントトークンを取得します。 2 Kibana を実⾏し、リンクをクリック します。 3 トークンを貼り付けます。 4 セットアップを待機します。 5 elastic ユーザー として接続します。
- 61. Simplicity and Choice Elastic Stack Securityの簡略化 さまざまなシナリオに適⽤できる GA OSS Platinum Enterprise Gold Standard/Basic Elastic Cloud を利⽤する ESS、ECE、ECKはすでにデフォルトでセキュリティが設定されており、何も変わりません。 Elastic ソリューションのいずれかを使⽤する 通常、ソリューションはセキュリティが有効であることを前提としているため、影響はありません。 既存のセキュリティ設定を使⽤する 明⽰的なコンフィグが使⽤され、デフォルトのコンフィグが効きません。 セキュリティの無効化 ユーザーは適切なコンフィギュレーション設定により、明⽰的にセキュリティを無効化することができます。 7.x ⾮セキュアバージョンからのアップグレード アップグレードする前に、明⽰的にセキュリティを有効または無効にする必要があります。アップグレード アシスタントがそのプロセスを⽀援します。
- 62. Simplicity and Choice Elastic Stack Securityの簡略化 その他の変更 GA OSS Platinum Enterprise Gold Standard/Basic Elastic のセキュリティ機能は、外部プラグインで代替できません 他の Elastic 製品は Elastic のセキュリティ機能に⼤きく依存しているため、サードパーティ製のセキュリティモジュールで 置き換えることはできません。ただし、必要に応じて無効にすることは可能です。 システムインデックスが予約と⾮表⽰に設定されるようになりました システムインデックスにアクセスするには、デフォルトでは付与されない追加のフラグが必要であり、明⽰的にロールに追加 する必要があります。 スーパーユーザがシステムインデックスに書き込めなくなりました スーパーユーザーのロール定義が更新され、.security インデックスのようなシステム（予約）インデックスへの書き込み アクセスが防⽌されました。
- 63. なぜ Cloud Native 指向なのか︖ クラウドサービスユーザー にとって負担の少ない Elasticオンボーディング ● クラウドサービス事業者の コンソールから発⾒可能 ● インジェストインフラの管理は 不要 ❏ AWS: Serverless Application Repository (SAR)/AWS Cloud Watch ログ⼊⼒対応 ❏ AWS S3 Storage Lens 統合、他 ❏ Google Cloud: PubSub/DataFlow/ BigQuery/Firebase 他 Azure: Portal 統合/ SSO/VM extensions/ Spring Cloud 統合、他
- 64. AWS Marketplace トライアルと価格変更 詳細 なぜそれが重要なのか ● AWSMarketplace から直接 Elastic Cloud の 無料トライアルを試すことができます。 ● 新規および既存のお客様の TCO（総所有コスト） を低減します。 GA OSS Platinum Enterprise Gold Standard/Basic Simplicity and Choice
- 65. AWS サーバーレスログインジェストでインサイトを⾼速化 Lambda 関数を使ってS3 から Elastic にログを取り込む なぜそれが重要なのか ● サーバーレスアーキテクチャが主流に ● 開始時のエクスペリエンスを簡素化し、データオンボーディング の摩擦を低減 ● AWS サーバーレスアプリケーションリポジトリ (SAR) での アプリケーションの発⾒性 ● クラウドネイティブな統合体験に対する顧客の強い関⼼ GA OSS Beta Platinum Enterprise Gold Standard/Basic Making it easier to get started Simplicity and Choice
- 66. AWS serverless logingestion architecture Simplicity and Choice
- 68. Elastic Agent でのAWS CloudWatch のログ⼊⼒ CloudWatch のログから直接読み取る GA OSS Platinum Enterprise Gold Standard/Basic Simplicity and Choice なぜそれが重要なのか ● お客様のニーズに応える ● インジェストアーキテクチャを簡素化し、AWS の運⽤コストを削減
- 69. AWS S3 StorageLens の統合 S3 の使⽤状況とアクティビティメトリクス GA OSS Platinum Enterprise Gold Standard/Basic Simplicity and Choice なぜそれが重要なのか ● ストレージの使⽤率とコスト効率の最適化 ● 他のアプリケーションメトリクス、セキュリティイベント、システムログと 合わせてデータを統合し、分析する。 ● OOTB Kibana ダッシュボード
- 70. Azure Elastic Agentの統合が GA に Beats から Agent への移⾏ GA OSS Platinum Enterprise Gold Standard/Basic Simplicity and Choice なぜそれが重要なのか Elastic Agent でインジェストワークフローを簡素化 (以前はベータ版、現在は GA) Elastic Agent の Azure 統合を本番環境で活⽤できるようになり ました Making it easier to get started Simplicity and Choice
- 71. 新しい Elastic Agentの統合 Cassandra (GA)、vSphere (ベータ) 詳細 なぜそれが重要なのか ● Cassandra は、最も⼈気のあるデータストアの1つで す。現在、2万5千社以上の企業が利⽤しています。 ● vSphere の統合はコミュニティ主導で⾏われ、私たち のコミュニティの⼒を証明しています。 GA OSS Platinum Enterprise Gold Standard/Basic Making it easier to get started Simplicity and Choice
- 72. インテグレーション FAQ - よくある質問 Q:“インテグレーション”とは︖ A:インテグレーションとは、外部のシステムやアプリケーションを Elastic Stack に接続するための合理的な⽅法を意味する概念です。Nginx、 AWS、MongoDB などの⼀般的なサービスやプラットフォーム、またログファイルなどの多くの汎⽤的な⼊⼒タイプに対応したインテグレーションが⽤ 意されています。すべてのソリューションが統合機能を提供しているため、Elastic Stack 全体で統⼀されたコンセプトとなっています。 Q: パッケージとは何か、インテグレーションとはどう違うのか︖ A: Elastic パッケージは、外部データソースとの統合など特定のタスクを達成するために Elastic Stack が必要とするアセットを含む ZIP ファイル です。また、これらのアセットやパッケージ⾃体に関する追加情報を提供するマニフェストファイルも含まれています。パッケージの正確な内容や構造 は、パッケージ仕様によって記述されます。アセットは {stack-component}/{asset-type} または data_stream/{dataset}/{stack- component}/{asset-type} によって整理されます。統合は、モジュール、パッケージ、コネクタ、⾔語クライアント API、クラウドコンソールからの サーバーレス統合などの形で、具体的な成果物を持ちます。パッケージは0〜n個の統合インスタンスを含むことができます。 Link to FAQ document: https://docs.google.com/document/d/1k7x9UwhAZLXGG4uwXTVT_HZD38Q34qgOdszXmDAY6ic/edit?usp=sharing
- 73.
- 74. Lucene 9 TCO、パフォーマンス、安定性の向上につながる Search GA OSS Platinum Enterprise Gold Standard/Basic 圧縮率の向上によるインデックスサイズの縮⼩ : ●match_only_text フィールドで ~15% 削減 (!) ● テキストフィールドの⼤幅な削減 ● 例︓アプリケーションログで3.4%のサイズダウン ジオポイントのインデックス作成が10%〜15%⾼速化 Analytics
- 75. ベクターの類似性 - なぜ︖ 何に使うの︖ Search GA OSS Platinum Enterprise Gold Standard/BasicExperimental Similar? 意味に応じたランキング ⾮構造化⾃然⾔語へのクエリ 画像検索 ⾼次元ベクトルから始まるデータのランク付け Analytics
- 76. ベクトル類似性関数 関連性ランキングにディープラーニングモデルを使⽤ Natural Language Processing Model Text documents Queries Documents with vectors Text documents Documents Queries Queries a1 a2 … an a1 a2 … an a1 a2 … an Text Convolutional NeuralNetwork Image Embeddings Feature vectors a1 a2 … an a1 a2 … an For Example: Search by vector similarity & text/keywords/num Ingest documents Search Analytics
- 77. Relevance Result Query 1 2 3 4 検索の⾒え⽅の過度な単純化 Query 実際には : ●数百から数千の次元（2次元ではない） ● 実際の次元は、⼈間が解釈できるものでは ありません このモデルは、3つの⽂書 A、B、C に対して、A は C よりも B に似ている（とユーザーが判断した）場合、A のベクトルは C のベクトルよりも B のベクトルに似ているようにベクトルを⽣成し、 それが関連性ランキングの基礎となる
- 78. ベクターの類似性 - 何︖ Thejourney Search GA OSS Platinum Enterprise Gold Standard/Basic Experimental 7.3 のブルートフォースベクトル類似度 GA ● フィルタリングやトップ再ランク付けに効果的 ● ⾮常に⼤きなインデックスに対するクエリのレイテンシー HNSW & KNN, in 8.0 ● わずかな精度と多くのスケーラビリティを引き換えに ● ⼤規模インデックスにおける優れたクエリレイテンシー Analytics
- 79. ベクトル類似度 - KNNの性能⽐較 ゲームに参加する Search GA OSS Platinum Enterprise Gold Standard/BasicExperimental Analytics
- 80. ベクトル類似度 – KNNの性能⽐較 ゲームに参加する Search GA OSS Platinum Enterprise Gold Standard/Basic Experimental クエリーのレイテンシーが10msオーダーになることが多い 回収率は通常95%以上 結果︓クエリのレイテンシーが差別化要因でなくなった。 Analytics
- 81. ML モデル管理 UI MLモデルを管理するための Kibana UI 機械学習モデルを通じて多くの新しい機能が提供される ため、ユーザーは ML モデルを管理・監視するための UI を必要としています。 Kibana で ML モデル管理のUIを提供することで、 ユーザーはより⾃信を持ってデータパイプラインに ML モデルを作成、インポート、デプロイすることができるように なります。 DFA で作成したモデル（外れ値検出、回帰、分類） や、Eland! を使ってインポートしたサードパーティモデル を管理できます。 Analytics GA OSS Beta Platinum Experimental
- 82. Fleet パッケージの MLモデル ML モデルや必要なコンポーネントのインストールを簡素化 フリートパッケージマネージャーを使⽤して、 Supervised モデルとその必要なコンポーネントを すべてインストールします。 外部 ML モデル、Ingest パイプライン、検知ルール、 異常検知ジョブをまとめてインストールするのは複雑です。 パッケージインストールを作ることで簡単にしましょう DGA や Problem/Child のパッケージをボタン1つで Fleet からインストールできます。 * 注︓リリースは 8.0 GA 以降で、パッケージレジストリにリリースされる予定 です。 Analytics GA OSS Beta Platinum Experimental
- 83. Discover のフィールド統計 データの形を発⾒する フィールド統計 フィールド解析を⾏うための新ツール 価値創造までの時間を短縮 データをより速く学ぶ 主要な結果やビューをプレビュー Basic+ では現在ベータ版 Analytics GA OSSBeta Platinum Enterprise Gold Standard/Basic
- 85. キャンバスエディターのアップデートによる埋め込み オブジェクトのサポート ⾼速なコンテンツ作成、オブジェクトの乱雑さの解消、 ⼀貫したオーサリングエクスペリエンス キャンバスのエディタツールバーのデザインが新しくなり、 オプションが⾒つけやすくなりました。 キャンバスに埋め込まれたビジュアライゼーションの作成 🚀 速い︕ビジュアライゼーション・エディターへのページ 遷移が200 ms以下 キャンバスエディターのアップデート プレゼンテーション Analytics GA OSS Platinum Enterprise Gold Standard/Basic
- 86.
- 87. Elasticsearch のベクタータイル対応 Maps ワンクリックでベクタータイル性能、Map に⼀般提供開始 Mapのパフォーマンスとインタラクティブ性の向上 滑らかなズーム＆パン🧈 ドキュメントレイヤーはオプトイン可能 部分データの視覚的表⽰ 8.1ではベクタータイルがドキュメントのデフォルトになる予定 Analytics GA OSS Platinum Enterprise Gold Standard/Basic
- 88.
- 89. アップグレードアシスタント 8.0以降への移⾏ 7.17の新しく改良されたアップグレードアシスタントでは、 ガイド付きの⼿順と、⾮推奨の問題に対処するための⾃ 動修正機能がより充実しています。 なぜそれが重要なのか ● 8.xへのアップグレードが容易 ○ 重要な⾮推奨事項の特定 ○⼿動修正に必要な指⽰を提供します。 ○ ⼀部の⾃動化されたシステムの修復 ● 注︓8.x へのアップグレードは、7.17 を経由する 必要があります。 GA OSS Platinum Enterprise Gold Standard/Basic Workflows and Actions
- 90. CI/CD の可視性の強化 Maven ビルド⼿順の詳細 APM分散トレース可視化機能に統合された詳細情報 Why this matters ● Provide visibility into build steps that ○ Publish artifacts ○ Publish Docker images ○ Perform Snyk security checks ● Helps troubleshooting and optimization GA* OSS Platinum Enterprise Gold Standard/Basic *Otell プロジェクトによる技術 プレビューと表⽰されたままで す。 Unified O11y Workflows and Actions
- 92. アラート機能の改善 アラートビューのUX強化 詳細 なぜそれが重要なのか ● アラートからルール定義まで簡単にアクセス可能 ● アクティブ/リカバリーのアラートに対するフィルタリング ●離れても戻ってきても、ビューフォーマットの設定を維持 することができます。 ● ルール数サマリー GA OSS Beta Platinum Enterprise Experimental Gold Standard/Basic Actiona ble o11y Please provide feedback via this link Workflows and Actions
- 94. APM UI の強化 よりアクション性の⾼い UIを実現 詳細 APM 全体がよりモダンなルック＆フィールに ● サービスマップ - ポップアップバッジ ● サービス → エラー表⽰ ● トレース UI GA OSS Platinum Enterprise Gold Standard/Basic Workflows and Actions
- 95. APM Server でElasticsearch の出⼒が改善 出荷時のパフォーマンス向上 詳細 OOTB オートチューニングによるコンフィギュレーションの 簡素化 - libbeat からカスタム impl に移⾏ - 追加設定なしでスケールアウト可能 - APM サーバーのスケールアップのためのチケットが 少なくなりました。 GA OSS Platinum Enterprise Gold Standard/Basic Workflows and Actions Workflows and Actions
- 96.
- 97. Elastic はオープンでフリーな超⾼速検索エンジンとデータの出⼊⼒インターフェースから構成され、あらゆるパブリッククラウドにデプロイできる、業界をリードする検索・分析プラットフォームです。 Elastic により企業や個⼈は魅⼒的な顧客Web サイト体験やモバイルアプリ体験を提供できます。このセッションでは、Elastic による実装をサンプルアプリのデモを交えながらご紹介してい きます。 デジタルイノベーション2022 オンライン (3/10) https://ers.nikkeibp.co.jp/user/contents/2022w0307dionl/index.html#A_A-441B Elastic Enterprise Search と Observability によるデジタルカスタマーエクスペリエンスの向上
- 98. Observability Conference 2022Co-located Events Hands-on https://event.cloudnativedays.jp/o11y2022/hands-on Elastic ソリューションアーキテクト による本イベント連携ハンズオン ワークショップ開催 (前⽇)︕ （3/10 14:00-18:00） URL: https://event.cloudnativedays.jp/o11y 2022/hands-on
- 99. Thank you foryour attention!