Submit Search
Upload
Elasticsearchを使うときの注意点 公開用スライド
•
20 likes
•
30,539 views
崇
崇介 藤井
Follow
Elasticsearchを初めて使うときの注意点をまとめてみました。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 22
Download now
Download to read offline
Recommended
The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」
はじめてのElasticsearchクラスタ
はじめてのElasticsearchクラスタ
Satoyuki Tsukano
第14回Elasticsearch勉強会 LTの資料です。
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
FessはSolrベースの全文検索システムです。 Solrベースの全文検索システムを構築する上で遭遇する問題などを含めて、Fessについてご紹介します。
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Shinsuke Sugaya
第26回Elasticsearch勉強会資料
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Hibino Hisashi
iostat の await と svctm の 見かた、考え方を書いたやで彡(゚)(゚)
iostat await svctm の 見かた、考え方
iostat await svctm の 見かた、考え方
歩 柴田
DBマイグレーションツールのFlywayとER図生成ツールのSchemaSpyの紹介です。
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
onozaty
こちらのスライドは以下のサイトにて閲覧いただけます。 https://www.docswell.com/s/ockeghem/ZM6VNK-phpconf2021-spa-security シングルページアプリケーション(SPA)において、セッションIDやトークンの格納場所はCookieあるいはlocalStorageのいずれが良いのかなど、セキュリティ上の課題がネット上で議論されていますが、残念ながら間違った前提に基づくものが多いようです。このトークでは、SPAのセキュリティを構成する基礎技術を説明した後、著名なフレームワークな状況とエンジニアの技術理解の現状を踏まえ、SPAセキュリティの現実的な方法について説明します。 動画はこちら https://www.youtube.com/watch?v=pc57hw6haXk
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
Hiroshi Tokumaru
第38回Elasticsearch勉強会発表資料
Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.
Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.
Hibino Hisashi
Recommended
The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」
はじめてのElasticsearchクラスタ
はじめてのElasticsearchクラスタ
Satoyuki Tsukano
第14回Elasticsearch勉強会 LTの資料です。
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
FessはSolrベースの全文検索システムです。 Solrベースの全文検索システムを構築する上で遭遇する問題などを含めて、Fessについてご紹介します。
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Shinsuke Sugaya
第26回Elasticsearch勉強会資料
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Hibino Hisashi
iostat の await と svctm の 見かた、考え方を書いたやで彡(゚)(゚)
iostat await svctm の 見かた、考え方
iostat await svctm の 見かた、考え方
歩 柴田
DBマイグレーションツールのFlywayとER図生成ツールのSchemaSpyの紹介です。
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
onozaty
こちらのスライドは以下のサイトにて閲覧いただけます。 https://www.docswell.com/s/ockeghem/ZM6VNK-phpconf2021-spa-security シングルページアプリケーション(SPA)において、セッションIDやトークンの格納場所はCookieあるいはlocalStorageのいずれが良いのかなど、セキュリティ上の課題がネット上で議論されていますが、残念ながら間違った前提に基づくものが多いようです。このトークでは、SPAのセキュリティを構成する基礎技術を説明した後、著名なフレームワークな状況とエンジニアの技術理解の現状を踏まえ、SPAセキュリティの現実的な方法について説明します。 動画はこちら https://www.youtube.com/watch?v=pc57hw6haXk
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
Hiroshi Tokumaru
第38回Elasticsearch勉強会発表資料
Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.
Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.
Hibino Hisashi
今こそ知りたいSpring Batch (Spring Fest 2020講演資料) 2020年12月17日 株式会社NTTデータ 公共・社会基盤事業推進部 橋本 直樹
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~ (Spring Fest 2020講演資料) 2020年12月17日 NTTデータ 技術革新統括本部 横井 一輝
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
勉強会で分散トレーシング技術について調査した内容を発表した資料です。OpenTracingやJaegerなどについてのざっくりとした解説などを行っています。
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
db tech showcase 2017 資料
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
FessやElasticsearchを通して検索システムを作る際に遭遇する課題などを紹介します。
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Shinsuke Sugaya
PostgreSQLをKubernetes上で活用するためのOperator紹介! (Cloud Native Database Meetup #3 発表資料) 2022年1月14日 NTTデータ 技術開発本部 先進コンピューティング技術センタ 藤井 雅雄
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
NTT DATA Technology & Innovation
ビッグデータとデータマート【タガヤス その2】登壇資料
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
Spring Fest 2017での同名セッションの発表資料です。 http://springfest2017.springframework.jp/#session
Spring Data RESTを利用したAPIの設計と、作り直しまでの道のり
Spring Data RESTを利用したAPIの設計と、作り直しまでの道のり
Rakuten Group, Inc.
SolrとElasticsearchに関して独自の観点で比較してまとめています。 (実際に比較検討が必要な場合は、ご自身で実施されるのが良いと思います)
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
Shinsuke Sugaya
2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。 SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。 SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・ AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。 そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。
SQL大量発行処理をいかにして高速化するか
SQL大量発行処理をいかにして高速化するか
Shogo Wakayama
■Data Engineering Meetup #1 (2019/03/19) 発表資料 Apache Spark 2.4 and 3.0 - What's Next? - NTTデータ 技術開発本部 猿田 浩輔
Apache Spark 2.4 and 3.0 What's Next?
Apache Spark 2.4 and 3.0 What's Next?
NTT DATA Technology & Innovation
中国地方DB勉強会 「PostgreSQLの運用・監視にまつわるエトセトラ」
PostgreSQLの運用・監視にまつわるエトセトラ
PostgreSQLの運用・監視にまつわるエトセトラ
NTT DATA OSS Professional Services
アプリ「ニュースパス」をマイクロサービスで開発してみた泥臭い体験談です。
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
https://ntt-developers.github.io/ntt-tech-conference/2022/ 従来は Docker がコンテナエンジンとして幅広く利用されてきましたが、最近は Kubernetes が Docker 対応を打ち切るなど、風向きが変わってきました。 本セッションでは、Docker に代わって普及しつつあるコンテナエンジンである containerd について、Docker との違いや移行方法を紹介します。 P2P でのイメージ配布など、最新の機能についても紹介します。
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
Hadoopソースコードリーディング 第21回のスライドです。 https://www.eventbrite.com/e/hadoop-21-tickets-26913657474
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
ビッグデータのリアルタイム処理技術勉強会 #futureofdata
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
Takanori Suzuki
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介します
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
JJUG CCC 2017 Fall 発表資料 #jjug_ccc #ccc_a2
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
Yuki Morishita
2018/10/5 に開催された Analytics Architecture Night - Tokyo の発表資料です https://analyticsarchitecturenighttoky.splashthat.com/
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
SpringFest2017の以下のセッションの資料です。 Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ http://springfest2017.springframework.jp/
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo!デベロッパーネットワーク
Elastic ML 入門編
Elastic ML Introduction
Elastic ML Introduction
Hiroshi Yoshioka
CloudWatch(+sns+sqs)で障害対応を自動化してみた
CloudWatch(+sns+sqs)で障害対応を自動化してみた
Terui Masashi
More Related Content
What's hot
今こそ知りたいSpring Batch (Spring Fest 2020講演資料) 2020年12月17日 株式会社NTTデータ 公共・社会基盤事業推進部 橋本 直樹
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~ (Spring Fest 2020講演資料) 2020年12月17日 NTTデータ 技術革新統括本部 横井 一輝
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
勉強会で分散トレーシング技術について調査した内容を発表した資料です。OpenTracingやJaegerなどについてのざっくりとした解説などを行っています。
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
db tech showcase 2017 資料
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
FessやElasticsearchを通して検索システムを作る際に遭遇する課題などを紹介します。
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Shinsuke Sugaya
PostgreSQLをKubernetes上で活用するためのOperator紹介! (Cloud Native Database Meetup #3 発表資料) 2022年1月14日 NTTデータ 技術開発本部 先進コンピューティング技術センタ 藤井 雅雄
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
NTT DATA Technology & Innovation
ビッグデータとデータマート【タガヤス その2】登壇資料
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
Spring Fest 2017での同名セッションの発表資料です。 http://springfest2017.springframework.jp/#session
Spring Data RESTを利用したAPIの設計と、作り直しまでの道のり
Spring Data RESTを利用したAPIの設計と、作り直しまでの道のり
Rakuten Group, Inc.
SolrとElasticsearchに関して独自の観点で比較してまとめています。 (実際に比較検討が必要な場合は、ご自身で実施されるのが良いと思います)
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
Shinsuke Sugaya
2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。 SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。 SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・ AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。 そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。
SQL大量発行処理をいかにして高速化するか
SQL大量発行処理をいかにして高速化するか
Shogo Wakayama
■Data Engineering Meetup #1 (2019/03/19) 発表資料 Apache Spark 2.4 and 3.0 - What's Next? - NTTデータ 技術開発本部 猿田 浩輔
Apache Spark 2.4 and 3.0 What's Next?
Apache Spark 2.4 and 3.0 What's Next?
NTT DATA Technology & Innovation
中国地方DB勉強会 「PostgreSQLの運用・監視にまつわるエトセトラ」
PostgreSQLの運用・監視にまつわるエトセトラ
PostgreSQLの運用・監視にまつわるエトセトラ
NTT DATA OSS Professional Services
アプリ「ニュースパス」をマイクロサービスで開発してみた泥臭い体験談です。
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
https://ntt-developers.github.io/ntt-tech-conference/2022/ 従来は Docker がコンテナエンジンとして幅広く利用されてきましたが、最近は Kubernetes が Docker 対応を打ち切るなど、風向きが変わってきました。 本セッションでは、Docker に代わって普及しつつあるコンテナエンジンである containerd について、Docker との違いや移行方法を紹介します。 P2P でのイメージ配布など、最新の機能についても紹介します。
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
Hadoopソースコードリーディング 第21回のスライドです。 https://www.eventbrite.com/e/hadoop-21-tickets-26913657474
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
ビッグデータのリアルタイム処理技術勉強会 #futureofdata
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
Takanori Suzuki
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介します
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
JJUG CCC 2017 Fall 発表資料 #jjug_ccc #ccc_a2
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
Yuki Morishita
2018/10/5 に開催された Analytics Architecture Night - Tokyo の発表資料です https://analyticsarchitecturenighttoky.splashthat.com/
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
SpringFest2017の以下のセッションの資料です。 Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ http://springfest2017.springframework.jp/
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo!デベロッパーネットワーク
What's hot
(20)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
PostgreSQLをKubernetes上で活用するためのOperator紹介!(Cloud Native Database Meetup #3 発表資料)
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
Spring Data RESTを利用したAPIの設計と、作り直しまでの道のり
Spring Data RESTを利用したAPIの設計と、作り直しまでの道のり
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
SQL大量発行処理をいかにして高速化するか
SQL大量発行処理をいかにして高速化するか
Apache Spark 2.4 and 3.0 What's Next?
Apache Spark 2.4 and 3.0 What's Next?
PostgreSQLの運用・監視にまつわるエトセトラ
PostgreSQLの運用・監視にまつわるエトセトラ
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Similar to Elasticsearchを使うときの注意点 公開用スライド
Elastic ML 入門編
Elastic ML Introduction
Elastic ML Introduction
Hiroshi Yoshioka
CloudWatch(+sns+sqs)で障害対応を自動化してみた
CloudWatch(+sns+sqs)で障害対応を自動化してみた
Terui Masashi
しばちょう先生
[Oracle DBA & Developer Day 2016] しばちょう先生の特別講義!!ストレージ管理のベストプラクティス ~ASMからExada...
[Oracle DBA & Developer Day 2016] しばちょう先生の特別講義!!ストレージ管理のベストプラクティス ~ASMからExada...
オラクルエンジニア通信
Elasticsearch as a Distributed System ~分散システムとしてのElasticsearch~
Elasticsearch as a Distributed System
Elasticsearch as a Distributed System
Satoyuki Tsukano
第二回 中国地方DB勉強会での発表資料です。
MySQL Cluster 解説 & MySQL Cluster 7.3 最新情報
MySQL Cluster 解説 & MySQL Cluster 7.3 最新情報
yoyamasaki
「一歩先行く"Windows Server"投資成功の勘所」登壇資料 https://special.nikkeibp.co.jp/atclh/NXT/19/microsoft0228/
20190319 xtech recochoku_15m_pub
20190319 xtech recochoku_15m_pub
Dai Fujikawa
[C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama
[C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama
Insight Technology, Inc.
MySQLやSSDとかの話です 後編はこちら http://www.slideshare.net/takanorisejima/mysqlssd-56045479 後日談はこちら http://www.slideshare.net/takanorisejima/mysqlssd-70162609
MySQLやSSDとかの話 前編
MySQLやSSDとかの話 前編
Takanori Sejima
実例Javaトラブルシューティング! 〜稼働中のシステムを立て直した半年間の軌跡
実例Javaトラブルシューティング! 〜稼働中のシステムを立て直した半年間の軌跡
心 谷本
Cassandra Conference Tokyo 2011での発表資料
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
第37回Elasticsearch勉強会の発表スライド。 「Ingest Node Scripting Deep Dive」
Ingest node scripting_deep_dive
Ingest node scripting_deep_dive
Hiroshi Yoshioka
C24 analyzing oracle database hang issues using various diagnostics_pubic by ...
C24 analyzing oracle database hang issues using various diagnostics_pubic by ...
Insight Technology, Inc.
Analyzing Oracle Database hang issues using various diagnostics.
Analyzing Oracle Database hang issues using various diagnostics.
Ryota Watabe
Aqua Systems Sqlanalyzerのご紹介
Intro2 Sqlanalyzer
Intro2 Sqlanalyzer
saeka
複数のデータセンターにアプリケーションをデプロイすることにより得られる利点と、解決しなければならない課題
CDP 勉強会 - Multiple Datacenter Deployment ガイダンス
CDP 勉強会 - Multiple Datacenter Deployment ガイダンス
Kuniteru Asami
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
Yoshinori Matsunobu
タイトル:AIの力で障害検知・解析をサポート!Loom(ログ解析ソリューション)のご紹介 講師:山本 悠介(NECネッツエスアイ) アジェンダ: - こんな課題ありませんか? - Loom Systems社とは - Loom の特徴 - デモ - まとめ
AIの力で障害検知・解析をサポート!Loom(ログ解析ソリューション)のご紹介 - OpenStack最新情報セミナー 2017年7月
AIの力で障害検知・解析をサポート!Loom(ログ解析ソリューション)のご紹介 - OpenStack最新情報セミナー 2017年7月
VirtualTech Japan Inc.
Performance tuning and troubleshooting on Java applications on the air.
人気番組との戦い! Javaシステムのパフォーマンスチューニング奮闘記
人気番組との戦い! Javaシステムのパフォーマンスチューニング奮闘記
心 谷本
BtoCでバインド変数
BtoCでバインド変数
Yoshito Ueki
2017年12月5日に開催されたPGCONF.ASIAの講演資料です。 Data warehousing with PostgreSQL 10 : Know-hows which is extracted from case study
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
NTT DATA OSS Professional Services
Similar to Elasticsearchを使うときの注意点 公開用スライド
(20)
Elastic ML Introduction
Elastic ML Introduction
CloudWatch(+sns+sqs)で障害対応を自動化してみた
CloudWatch(+sns+sqs)で障害対応を自動化してみた
[Oracle DBA & Developer Day 2016] しばちょう先生の特別講義!!ストレージ管理のベストプラクティス ~ASMからExada...
[Oracle DBA & Developer Day 2016] しばちょう先生の特別講義!!ストレージ管理のベストプラクティス ~ASMからExada...
Elasticsearch as a Distributed System
Elasticsearch as a Distributed System
MySQL Cluster 解説 & MySQL Cluster 7.3 最新情報
MySQL Cluster 解説 & MySQL Cluster 7.3 最新情報
20190319 xtech recochoku_15m_pub
20190319 xtech recochoku_15m_pub
[C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama
[C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama
MySQLやSSDとかの話 前編
MySQLやSSDとかの話 前編
実例Javaトラブルシューティング! 〜稼働中のシステムを立て直した半年間の軌跡
実例Javaトラブルシューティング! 〜稼働中のシステムを立て直した半年間の軌跡
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
Ingest node scripting_deep_dive
Ingest node scripting_deep_dive
C24 analyzing oracle database hang issues using various diagnostics_pubic by ...
C24 analyzing oracle database hang issues using various diagnostics_pubic by ...
Analyzing Oracle Database hang issues using various diagnostics.
Analyzing Oracle Database hang issues using various diagnostics.
Intro2 Sqlanalyzer
Intro2 Sqlanalyzer
CDP 勉強会 - Multiple Datacenter Deployment ガイダンス
CDP 勉強会 - Multiple Datacenter Deployment ガイダンス
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
AIの力で障害検知・解析をサポート!Loom(ログ解析ソリューション)のご紹介 - OpenStack最新情報セミナー 2017年7月
AIの力で障害検知・解析をサポート!Loom(ログ解析ソリューション)のご紹介 - OpenStack最新情報セミナー 2017年7月
人気番組との戦い! Javaシステムのパフォーマンスチューニング奮闘記
人気番組との戦い! Javaシステムのパフォーマンスチューニング奮闘記
BtoCでバインド変数
BtoCでバインド変数
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
More from 崇介 藤井
星野リゾートに入社してから約4年。たった一人の状態から内製化を始めた私は、 開発者として仕事を進みながらも、プロダクト開発チームやエンジニア組織など、4年間のうちのたくさんのチームを作り上げてきました。 しかしながら、知識や経験が不足しているなか、チームを作り上げていたので、よいチームになる場合もあれば、いまいちうまくいかないチームになることもあり、自分の中でも限界を感じ、チームについて見つめなおし、再度新しいチームを作ってみました。 本スライドでは、私がチーム作りとしてどのようなことを学んだのかということをお話しするとともに、 実際にチームに適用して得られた効果を報告いたします。 チームに作りをこれから行う皆様やチーム作りに悩んでいる皆様のヒントになれば幸いです。
チームを作る中で経験した自律的に成長するチームの作り方
チームを作る中で経験した自律的に成長するチームの作り方
崇介 藤井
長期間にわたり、保守・開発を続けていると、メンバーの間にいつの間にか上下関係ができてしまい、うまく行っていたスクラムチームがいまいちな状態になったことはないでしょうか? 私たちにもそのような時期がありました。そのようなチームに突如訪れたメンバー交代、そして入ってきたのは、アジャイルをやったこともなければ、エンジニア経験も浅いメンバーたち。 そのようなメンバーを中心として、チームを再構成する中で、アジャイル開発を体験したメンバーがどのように成長を遂げ、新しい形でチームを作り上げていったのかお話します。 チームを作るのに、何かとらわれのようなものを持っていないでしょうか? チームとは何か、チームとして達成したいものは何か、私たちは何度も話し合い、自分たちにあった形で変えてきました。 アジャイルどころか、システム開発自体も知らなかったメンバーもいるなかで、スクラムを中心に取り組むこと、諦めることを先入観なしに行うことで、チームの雰囲気も変わり、大きく成長をすることができました。
みんなが初心者だからいい。全員で動く、アジャイルチームの成長日誌
みんなが初心者だからいい。全員で動く、アジャイルチームの成長日誌
崇介 藤井
宿泊業である星野リゾートは、従業員の多くは、接客中心の職場であるが、ITへの関りは少ない。 そのようなITとの関りが少ないイメージの強い企業の星野リゾートはアジャイル開発を促進し、多くの成果を上げることで、DXを推進する企業として認知され始め、宿泊業界に厳しいコロナ禍でも躍進を続けている。 非IT組織においてアジャイルを推進するのはも簡単ではないと思われるかも知れない。しかし、星野リゾートではアジャイル開発に向いている組織文化を長年続けており、そのエッセンスをうまく活用することで、アジャイル開発を実践し、DXを推進する企業としての成長を図ることができている。 本セッションでは、アジャイル開発を下支えする組織文化とその取り組みについてお話します。
非ITの宿泊業なのに、なぜDXを推進できるのか?
非ITの宿泊業なのに、なぜDXを推進できるのか?
崇介 藤井
内製化を進めるために邁進した3年間の振り返りをします。 ・無茶ぶりから始まった1年目 ・組織が形作られた2年目 ・逆境と戦い続けた3年目 内製化がどのように進んだのか、何が内製化を促進する要因になったのかを話します。
僕があるいた内製化の3年間
僕があるいた内製化の3年間
崇介 藤井
星野リゾートでは、企業の発展とともに、開発の内製化の促進を進めており、海外展開など次の局面を迎えていた。 しかし、2020年に入ると、全世界に混乱をもたらされたコロナの影響を受け、宿泊業には大きな打撃をもたらした。 もちろん、星野リゾートも例外ではなく、今後にむけた開発は全て白紙になるだけでなく、事業の継続も危ぶまれる状況に陥った。 そのような状況から、以下にして組織が同じ方向を目指し、短期間でリリースする体制を作り上げることで、危機的状況を脱し、飛躍できたのかをまとめました。
コロナ禍における宿泊業の苦闘~ピンチをチャンスに変えた開発戦略
コロナ禍における宿泊業の苦闘~ピンチをチャンスに変えた開発戦略
崇介 藤井
コロナ禍において観光業は大きく影響を受けた業界ですが、そのような環境でも星野リゾートは急激な変化に対応しながら、事業の成長を続けてきました。 本セッションではコロナ禍において星野リゾートが実際に行ったAWSを活用した取組みやIT戦略について、お伝えします。 また、AWS活用、コスト最適化、また内製化を進めていくための支援としてクラスメソッド様に行っていただいた支援内容を説明いたします。
コロナ禍に躍進した星野リゾートのIT戦略 ~コストカットと事業拡大を両立するAWS活用術~
コロナ禍に躍進した星野リゾートのIT戦略 ~コストカットと事業拡大を両立するAWS活用術~
崇介 藤井
星野リゾートでは、長くからシステムを独自に開発していましたが、組織の構成に失敗し、システムづくりでも失敗を繰り返していました。 その原因として、システムを開発ができるエンジニアが社内にいないこともあったが、業務の力もシステム開発に活かせていないという課題もあった。 その過去の経験から、星野リゾートでは、現場出身の非エンジニアをノーコードエンジニアやプロダクトオーナーとして成長させながら、外部のエンジニアを採用することで、変化に強く短期間で価値を生み出す状況にまでなりました。 このような組織を作り上げるために行ったことと、その成果として変化の激しいコロナ禍の状況をどのように乗り切ってきたのかを説明いたします。
旅館運営企業で実現した現場出身者の力を活かしたアジャイル開発
旅館運営企業で実現した現場出身者の力を活かしたアジャイル開発
崇介 藤井
創業106年を迎える星野リゾートは、新規開業ラッシュ、海外展開など、大きな転換期を迎える予定だった。しかし、コロナの発生により、業界自体が深刻なダメージも受け、星野リゾートの運営にも深刻な影響を与えました。 そのような逆境の中、星野リゾートがどのような活動を行い、現場とエンジニアが協力することで、コロナ期で業界をリードし、生き抜いているのかをお話しいたします。
ピンチはチャンス!大逆境のコロナ期での現場とエンジニアの戦い
ピンチはチャンス!大逆境のコロナ期での現場とエンジニアの戦い
崇介 藤井
DevelopersSummitKansai 2020の登壇資料です。 星野リゾートでは、企業の発展とともに、開発の内製化の促進を進めており、2020年は大量の新規開業、システム刷新など巨大なプロジェクトが待ち受けていた。 しかし、新型コロナウィルス感染の拡大により、母体の宿泊業は業界全体が壊滅的な状況になり、多大な影響を受けた。 もちろん、その影響はシステム開発の現場にもあり、以下のような混乱した状況になった。 ・半年以上かけて練り上げてきた計画はすべて白紙になる。 ・計画は週に2、3回変わる。 ・緊急案件が次々と入る。 この逆境の中、組織としてどのような取り組みを行い、エンジニアが学びを得て、成果を上げているのかをご説明いたします。
コロナで大打撃を受けた宿泊業のエンジニアの逆境との闘い
コロナで大打撃を受けた宿泊業のエンジニアの逆境との闘い
崇介 藤井
ScrumFest2020 Osaka@online で登壇した内容になります。 星野リゾートでは、長年、ユニークな成長戦略を進めるため、独自に自社システムの開発を進めてきましたが、当初は開発に主体的でなかったため、システムの開発が企業成長のボトルネックになっていた状況でした。 そのような世界に、飛び込んだエンジニアが、Scrumという武器を片手に企業にどのような価値をもたらし、会社に新たな変革を与えているのかをご説明します。 また、そのような中、突如業界を震撼させたコロナに大きな影響を受ける中、弊社の情報システム部門がどのようにコロナに立ち向かっているのかご説明いたします。
旅館運営企業にエンジニアがもたらした価値とこれからの戦いについて
旅館運営企業にエンジニアがもたらした価値とこれからの戦いについて
崇介 藤井
創業105年の星野リゾートでは、他社と差別化を図るために、多くのシステムを独自に作っていたが、旅館運営企業を生業であったため、ほぼ全てのシステムを外部に発注していました。 そのため、近年の技術の進化やビジネスの展開にシステムが追いつかず、システムが企業のボトルネックになっていました。 本セッションでは、非IT企業である星野リゾートが、システム開発の内製化を目指し、どのように毎週リリースするチームを一から構築したのかお話いたします。
創業105年の旅館運営企業が実現した 毎週リリースするチームの作り方
創業105年の旅館運営企業が実現した 毎週リリースするチームの作り方
崇介 藤井
開発チームを何度も構築しなおす中で、考えてきた自分の考える良いチームについて、簡単に発表したいと思います。 スクラムのノウハウを色々と取り入れてみました。
20191129 kyoto lt_up
20191129 kyoto lt_up
崇介 藤井
Developpers Summit 2019 KANSAIの登壇資料になります。 ホテル・旅館運営企業が、外部委託で全くうまくいかなかったシステム開発を、 どのように改善していったのか、これからどこに向かっているのかを説明した資料になります。 今後、システムを内製化したい人、開発プロセスを改善したい人の参考になれば幸いです。
ホテル・旅館運営企業が毎週リリースするDevOpsサイクルを作るまでの道のり
ホテル・旅館運営企業が毎週リリースするDevOpsサイクルを作るまでの道のり
崇介 藤井
全く進まなかったシステムの改善を、ユーザ企業の立場に立ち、どのように改善していったかを説明した資料です。 企業の体制、顧客の契約も含め、ユーザ企業が開発に積極的に入ることで改善できると実感できたので、 同じような悩みを抱えている方の参考になれば光栄です。
システムを毎週リリースするために頑張ったこと
システムを毎週リリースするために頑張ったこと
崇介 藤井
More from 崇介 藤井
(14)
チームを作る中で経験した自律的に成長するチームの作り方
チームを作る中で経験した自律的に成長するチームの作り方
みんなが初心者だからいい。全員で動く、アジャイルチームの成長日誌
みんなが初心者だからいい。全員で動く、アジャイルチームの成長日誌
非ITの宿泊業なのに、なぜDXを推進できるのか?
非ITの宿泊業なのに、なぜDXを推進できるのか?
僕があるいた内製化の3年間
僕があるいた内製化の3年間
コロナ禍における宿泊業の苦闘~ピンチをチャンスに変えた開発戦略
コロナ禍における宿泊業の苦闘~ピンチをチャンスに変えた開発戦略
コロナ禍に躍進した星野リゾートのIT戦略 ~コストカットと事業拡大を両立するAWS活用術~
コロナ禍に躍進した星野リゾートのIT戦略 ~コストカットと事業拡大を両立するAWS活用術~
旅館運営企業で実現した現場出身者の力を活かしたアジャイル開発
旅館運営企業で実現した現場出身者の力を活かしたアジャイル開発
ピンチはチャンス!大逆境のコロナ期での現場とエンジニアの戦い
ピンチはチャンス!大逆境のコロナ期での現場とエンジニアの戦い
コロナで大打撃を受けた宿泊業のエンジニアの逆境との闘い
コロナで大打撃を受けた宿泊業のエンジニアの逆境との闘い
旅館運営企業にエンジニアがもたらした価値とこれからの戦いについて
旅館運営企業にエンジニアがもたらした価値とこれからの戦いについて
創業105年の旅館運営企業が実現した 毎週リリースするチームの作り方
創業105年の旅館運営企業が実現した 毎週リリースするチームの作り方
20191129 kyoto lt_up
20191129 kyoto lt_up
ホテル・旅館運営企業が毎週リリースするDevOpsサイクルを作るまでの道のり
ホテル・旅館運営企業が毎週リリースするDevOpsサイクルを作るまでの道のり
システムを毎週リリースするために頑張ったこと
システムを毎週リリースするために頑張ったこと
Recently uploaded
2024/05/25 serverless Meetup osaka
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
ssuserbefd24
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料) 2024年4月24日(水) 株式会社NTTデータグループ 技術開発本部 笠原 辰仁
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
NTT DATA Technology & Innovation
This presentation introduces a paper about offline reinforcement learning.
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
atsushi061452
2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
https://iotlt.connpass.com/event/318403/
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
Ayachika Kitazaki
YouTube nnabla channelの次の動画で利用したスライドです。 【AI論文解説】Consistency ModelとRectified Flow https://youtu.be/3IKCrAPe55k Consistency ModelとRectified Flowに関連する以下の論文を紹介しています。 Consistency models(解説編Part1で紹介) - “Consistency Models,” ICML 2023. - “Improved Techniques for Training Consistency Models,” ICLR 2024. - “Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion,” ICLR 2024. Rectified flow(解説編Part2で紹介) - “Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow,” ICLR 2023. - “InstaFlow: One Step is Enough for High-Quality Diffusion-Based Text-to-Image Generation,” ICLR 2024.
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
Sony - Neural Network Libraries
第23回 Customer系エンジニア座談会 の LT 公開用スライドです。 https://customer-x-engineer.connpass.com/event/314639/ クラウド電話システム CallConnect に興味を持った方はこちら。 https://www.callconnect.jp/?slideshare お気軽にフォロー/DM お待ちしています。 https://x.com/24guchia https://www.facebook.com/eiichi.nishiguchi
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
瑛一 西口
Security-JAWS【第33回】 勉強会 https://s-jaws.doorkeeper.jp/events/173294
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
keikoitakurag
サイバーエージェントAI事業部の新卒研修で利用したスライドを公開します。
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
yassun7010
This presentation introduces a paper about offline reinforcement learning.
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
atsushi061452
Recently uploaded
(11)
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
Elasticsearchを使うときの注意点 公開用スライド
1.
© Acroquest Technology
Co., Ltd. All rights reserved. Elasticsearchを使うときの注意点 Acroquest Technology株式会社 2016/01/28 藤井 崇介
2.
© Acroquest Technology
Co., Ltd. All rights reserved.2 はじめに 社内でElasticsearchを使う機会が増えています。 一方で、こんな問題に遭うこともあります。 1. しばらく使っていると、OOMEが発生して落ちてしまう。 2. Elasticsearchが落ちていたせいで、データの復旧が必 要になったが、復旧する方法がない。 3. 想像していたほど性能が出ない。 4. どういうスペックのマシンを用意すればいいかわからな い? Elasticsearchの性能を引き出し、安定稼働させるためには 適切なチューニングを行う必要があります。 このスライドでは、仕事で適用して体験したことや 調査したことを共有したいと思います。 はじめに
3.
© Acroquest Technology
Co., Ltd. All rights reserved.3 構成 はじめに
4.
© Acroquest Technology
Co., Ltd. All rights reserved. Elasticsearchを使うときの注意点 4
5.
© Acroquest Technology
Co., Ltd. All rights reserved. Elasticsearchを使うときの注意点 1. 2.X系を使うと安定度が増す 2. ヒープメモリを正しく設定する 3. シャード数を適切に設定する 4. データの復旧方法を確保する 5. stringをnot analyzedにできないか検討する 6. bulkAPIを使うときには設定を変える 5
6.
© Acroquest Technology
Co., Ltd. All rights reserved.6 1. 2.X系を使うと安定度が増す 1.X系では、ヒープメモリを大量に消費する。 導入当初は、2か月に1回ElasticsearchがOOMEに より、停止する問題が発生していた。 • 全文検索を効率的に行うため、Luceneが生成したイン デックスから、検索用のインデックスを内部で生成してい る。 • 1.x系ではインデックス情報をJavaのヒープメモリに保持 する方法が使われていたが、2.x系ではファイルを利用 する方法(Doc Values)がデフォルトになった。 Doc Valuesの詳細については以下を参照。 https://www.elastic.co/guide/en/elasticsearch/guide/current/doc-values.html
7.
© Acroquest Technology
Co., Ltd. All rights reserved.7 2. ヒープメモリを正しく設定する Elasticsearchの性能を引き出すためには、メモリ 設定のチューニングは不可欠である。 ヒープメモリを設定するときの注意点 1. 物理メモリの半分以上は指定しない。 – 物理メモリをファイルキャッシュとしてLuceneが利用するため。 2. 30GB以上指定しない。 – Javaのメモリ使用量が32GBを越えるとポインタのサイズが 2倍になり、逆にメモリ消費量が増えるため (Compressed Oopsのため) 3. CMS GCを利用する。G1GCを利用しない。 – G1GCを使うとLuceneの一部で問題が出るらしい(?) 詳細は 未確認。
8.
© Acroquest Technology
Co., Ltd. All rights reserved. シャードとは シャードはElasticsearchのインデックスを分解したもの ノード1(Elasticsearch) 8 3.シャード数を適切に設定する インデックス シャード 0P シャード 1P シャード 2P 実ファイルとして保存
9.
© Acroquest Technology
Co., Ltd. All rights reserved. シャードとは クラスタリングするときに、シャードが各ノードに配置される ノード1 9 3.シャード数を適切に設定する インデックス シャード 0P シャード 2R ノード2 ノード3 インデックス シャード 1P シャード 0R インデックス シャード 2P シャード 1R Pはプライマリシャード、Rはレプリカシャードを表す
10.
© Acroquest Technology
Co., Ltd. All rights reserved. 設定方法 インデックス作成時のみ設定可能 • インデックス作成時に設定する方法 • インデックステンプレートを使う。 10 3.シャード数を適切に設定する curl -XPUT localhost:9200/index-1 '{ "settings" : { "number_of_shards" : 1 } }' curl -XPUT localhost:9200/template-1 ' { "template": “index-*", "settings": { "number_of_shards": 1 }, order : 1 }
11.
© Acroquest Technology
Co., Ltd. All rights reserved. シャードが多いとどうなるか? ディスクアクセスが増えるので、IO待ちが発生する。 Kibanaなど、複数インデックスを検索する場合には、 影響が顕著に出る。 ※デフォルト値は5。 ただし、1つのインデックスに大量のデータを 登録している場合には、性能が劣化する場合もあるので、 注意すること。 11 3.シャード数を適切に設定する
12.
© Acroquest Technology
Co., Ltd. All rights reserved. シャード数はいくつにするのがよいか? 正解はない。 1シャード、1G程度を目安にし、ベンチマークし、決定する。 12 3.シャード数を適切に設定する
13.
© Acroquest Technology
Co., Ltd. All rights reserved.13 4.データの復旧方法を確保する データ復旧の必要性 データの欠損を考慮する必要があるため。 原因 1. ElasticsearchがOOMEで落ちていた。 (1.X系ではよく落ちました) 2. 1ノードで運用していると、ネットワーク瞬断など、仕組 みとして拾えない場合がある。 3. クラスタを組み、レプリカを設定することで、救出できる 可能性もあがるが、高負荷時にノード間でデータがずれ る場合がある。 ※3.は設定で回避可能であるが、性能との兼ね合いが ある。
14.
© Acroquest Technology
Co., Ltd. All rights reserved.14 4.データの復旧方法を確保する データ復旧方法とは? 1. ログを残しておき、リアルタイム投入とは別のタイミング で定期投入する。 →ただしログが重複して投入されないよう、ドキュメント のIDをログ内容から算出する必要がある。 2. スナップショットを定期的に取る。
15.
© Acroquest Technology
Co., Ltd. All rights reserved.15 5. stringをnot analyzedにできないか検討する Elasticsearchでは、ドキュメントのインデックス時に、 string型のフィールドに対してanalyzer処理が行わ れる。 ログ解析など、テキスト検索として利用しない場合 には、not analyzedに指定する方が、性能もよくな るし、適切な結果が得られる。
16.
© Acroquest Technology
Co., Ltd. All rights reserved.16 analyzer処理のデメリット 1. キーワード検索、suggestionを行わない場合には、 analyzer処理のコストが無駄に掛かる。 2. Kibanaの集計結果が期待通りにならないことがある。 5. stringをnot analyzedにできないか検討する
17.
© Acroquest Technology
Co., Ltd. All rights reserved.17 6. bulkAPIを使うときには設定を変える bulkAPIで一度に大量のデータを投入すると、 Elasticsearchが処理しきれない場合がある。 原因 1. 内部キューのスレッド数の上限に達する。 2. 内部で行われるインデックスの更新処理が重い。
18.
© Acroquest Technology
Co., Ltd. All rights reserved.18 6. bulkAPIを使うときには設定を変える 1. 内部キューのスレッド数の上限に達する Elasticsearchでは、内部に処理を行うキューとThreadPoolが あるが、高負荷のときにキューが溢れることがある。 キューのデフォルト値は50、あふれるとデータが破棄される。 ※ThreadPoolも設定可能だが、非推奨。 curl -XGET localhost:9200/_nodes/stats ... “bulk”:{ “threads”: 4, “queue”: 15, // 現在処理待ちのキューに溜まっているリクエスト数 "active": 4, "rejected": 320, // これまでにリジェクトされたリクエスト数 "largest": 5, "completed": 203312 }, ...
19.
© Acroquest Technology
Co., Ltd. All rights reserved.19 6. bulkAPIを使うときには設定を変える 1. 内部キューのスレッド数の上限に達する キューが溢れた場合には、 429エラー(Too Many Request)が返り、 送信したドキュメントは破棄されてしまう。 設定方法 curl -XPUT localhost:9200/_cluster/settings { "transient": { "threadpool.bulk.queue_size": 10000 } }
20.
© Acroquest Technology
Co., Ltd. All rights reserved.20 6. bulkAPIを使うときには設定を変える 2. 内部で行われるインデックスの更新処理が重い Elasticsearchへのドキュメント登録はバッファに蓄積されるの みであり、 定期的にインデックスへの反映処理が行われている。 更新処理はデフォルトで1秒に1回だが、 時間の掛かるbulkAPI実行時にはこの頻度で行う必要がない。 そのためbulkAPI実行時には、 更新間隔を-1(バッファの上限になるまで反映処理を行わない) に設定し、 実行完了後に元に戻すとよい。 curl -XPOST 'localhost:9200/index-d/_settings?index.refresh_interval=-1s'
21.
© Acroquest Technology
Co., Ltd. All rights reserved.21 現在、取り組んでいるもの 現在、取り組んでいるもの 1. 一定期間を過ぎたインデックスをクローズする、削除す る。 – クローズされたインデックスは検索対象外となるが、オープンすれ ば再び検索対象となる。 – 削除されたインデックスはディスクから削除される。 2. エイリアスを利用する。 3. _all, _sourceの廃止を検討する。 – allは全項目に対する串刺し検索で用いる。ログ収集においては あまり使わない。 – _sourceはJSON化する前のログ。ハイライトや部分更新で用いる。 ログ収集にはあまり使わない。
22.
© Acroquest Technology
Co., Ltd. All rights reserved. 適切なチューニングを行い、 Elasticsearchを活用しましょう。 22
Download now