Submit Search
Upload
第一回Web技術勉強会 efkスタック編
•
1 like
•
2,251 views
T
tzm_freedom
Follow
社内勉強会の資料。 EFKスタックについて。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 12
Download now
Download to read offline
Recommended
HTTP/2 入門
HTTP/2 入門
Yahoo!デベロッパーネットワーク
Marp入門
Marp入門
Rui Watanabe
マイクロサービスバックエンドAPIのためのRESTとgRPC
マイクロサービスバックエンドAPIのためのRESTとgRPC
disc99_
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
ネットワークでなぜ遅延が生じるのか
ネットワークでなぜ遅延が生じるのか
Jun Kato
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
LINE Corporation
Recommended
HTTP/2 入門
HTTP/2 入門
Yahoo!デベロッパーネットワーク
Marp入門
Marp入門
Rui Watanabe
マイクロサービスバックエンドAPIのためのRESTとgRPC
マイクロサービスバックエンドAPIのためのRESTとgRPC
disc99_
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
ネットワークでなぜ遅延が生じるのか
ネットワークでなぜ遅延が生じるのか
Jun Kato
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
LINE Corporation
大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌
LINE Corporation
CircleCIのinfrastructureを支えるTerraformのCI/CDパイプラインの改善
CircleCIのinfrastructureを支えるTerraformのCI/CDパイプラインの改善
Ito Takayuki
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Shin Ohno
こんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツール
dcubeio
目grep入門 +解説
目grep入門 +解説
murachue
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
Prometheus入門から運用まで徹底解説
Prometheus入門から運用まで徹底解説
貴仁 大和屋
Zebra SRv6 CLI on Linux Dataplane (ENOG#49)
Zebra SRv6 CLI on Linux Dataplane (ENOG#49)
Kentaro Ebisawa
BGP Unnumbered で遊んでみた
BGP Unnumbered で遊んでみた
akira6592
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
デキるプログラマだけが知っているコードレビュー7つの秘訣
デキるプログラマだけが知っているコードレビュー7つの秘訣
Masahiro Nishimi
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
kwatch
Guide To AGPL
Guide To AGPL
Mikiya Okuno
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
実践イカパケット解析
実践イカパケット解析
Yuki Mizuno
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
RESTfulとは
RESTfulとは
星影 月夜
#logstudy 01 rsyslog入門
#logstudy 01 rsyslog入門
Takashi Takizawa
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
Hironobu Isoda
第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編
tzm_freedom
Heroku
Heroku
Ayumu Aizawa
More Related Content
What's hot
大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌
LINE Corporation
CircleCIのinfrastructureを支えるTerraformのCI/CDパイプラインの改善
CircleCIのinfrastructureを支えるTerraformのCI/CDパイプラインの改善
Ito Takayuki
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Shin Ohno
こんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツール
dcubeio
目grep入門 +解説
目grep入門 +解説
murachue
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
Prometheus入門から運用まで徹底解説
Prometheus入門から運用まで徹底解説
貴仁 大和屋
Zebra SRv6 CLI on Linux Dataplane (ENOG#49)
Zebra SRv6 CLI on Linux Dataplane (ENOG#49)
Kentaro Ebisawa
BGP Unnumbered で遊んでみた
BGP Unnumbered で遊んでみた
akira6592
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
デキるプログラマだけが知っているコードレビュー7つの秘訣
デキるプログラマだけが知っているコードレビュー7つの秘訣
Masahiro Nishimi
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
kwatch
Guide To AGPL
Guide To AGPL
Mikiya Okuno
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
実践イカパケット解析
実践イカパケット解析
Yuki Mizuno
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
RESTfulとは
RESTfulとは
星影 月夜
#logstudy 01 rsyslog入門
#logstudy 01 rsyslog入門
Takashi Takizawa
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
Hironobu Isoda
What's hot
(20)
大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌
CircleCIのinfrastructureを支えるTerraformのCI/CDパイプラインの改善
CircleCIのinfrastructureを支えるTerraformのCI/CDパイプラインの改善
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
こんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツール
目grep入門 +解説
目grep入門 +解説
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
Prometheus入門から運用まで徹底解説
Prometheus入門から運用まで徹底解説
Zebra SRv6 CLI on Linux Dataplane (ENOG#49)
Zebra SRv6 CLI on Linux Dataplane (ENOG#49)
BGP Unnumbered で遊んでみた
BGP Unnumbered で遊んでみた
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
デキるプログラマだけが知っているコードレビュー7つの秘訣
デキるプログラマだけが知っているコードレビュー7つの秘訣
DBスキーマもバージョン管理したい!
DBスキーマもバージョン管理したい!
Guide To AGPL
Guide To AGPL
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
実践イカパケット解析
実践イカパケット解析
メタプログラミングって何だろう
メタプログラミングって何だろう
RESTfulとは
RESTfulとは
#logstudy 01 rsyslog入門
#logstudy 01 rsyslog入門
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
Viewers also liked
第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編
tzm_freedom
Heroku
Heroku
Ayumu Aizawa
Heroku Changelog in 2013
Heroku Changelog in 2013
Ayumu Aizawa
第5回web技術勉強会 暗号技術編その3
第5回web技術勉強会 暗号技術編その3
tzm_freedom
Dreamforce '15のお話
Dreamforce '15のお話
tzm_freedom
第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編
tzm_freedom
Githubでアカウントを晒した事故に対する対処
Githubでアカウントを晒した事故に対する対処
まえすとろ
第2回Web技術勉強会 webパフォーマンス改善編
第2回Web技術勉強会 webパフォーマンス改善編
tzm_freedom
Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析
tzm_freedom
初めてのGemの読み方
初めてのGemの読み方
Takao Baba
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
tzm_freedom
第4回web技術勉強会 暗号技術編その2
第4回web技術勉強会 暗号技術編その2
tzm_freedom
第一回IoT関連技術勉強会 分散処理編
第一回IoT関連技術勉強会 分散処理編
tzm_freedom
第3回web技術勉強会 暗号技術編その1
第3回web技術勉強会 暗号技術編その1
tzm_freedom
プロセスをしょうもないErrorで落とさないように頑張る
プロセスをしょうもないErrorで落とさないように頑張る
mookjp
PaaSに適したアプリケーション設計がもたらすメリット
PaaSに適したアプリケーション設計がもたらすメリット
Ayumu Aizawa
ElectronでExactTargetのGUIツールを作ってみた話
ElectronでExactTargetのGUIツールを作ってみた話
tzm_freedom
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
Yuji Otani
Heroku HTTP API Design Guide
Heroku HTTP API Design Guide
Ayumu Aizawa
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Hisao Soyama
Viewers also liked
(20)
第二回IoT関連技術勉強会 ログ収集編
第二回IoT関連技術勉強会 ログ収集編
Heroku
Heroku
Heroku Changelog in 2013
Heroku Changelog in 2013
第5回web技術勉強会 暗号技術編その3
第5回web技術勉強会 暗号技術編その3
Dreamforce '15のお話
Dreamforce '15のお話
第三回IoT関連技術勉強会 データ通信編
第三回IoT関連技術勉強会 データ通信編
Githubでアカウントを晒した事故に対する対処
Githubでアカウントを晒した事故に対する対処
第2回Web技術勉強会 webパフォーマンス改善編
第2回Web技術勉強会 webパフォーマンス改善編
Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析
初めてのGemの読み方
初めてのGemの読み方
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
第4回web技術勉強会 暗号技術編その2
第4回web技術勉強会 暗号技術編その2
第一回IoT関連技術勉強会 分散処理編
第一回IoT関連技術勉強会 分散処理編
第3回web技術勉強会 暗号技術編その1
第3回web技術勉強会 暗号技術編その1
プロセスをしょうもないErrorで落とさないように頑張る
プロセスをしょうもないErrorで落とさないように頑張る
PaaSに適したアプリケーション設計がもたらすメリット
PaaSに適したアプリケーション設計がもたらすメリット
ElectronでExactTargetのGUIツールを作ってみた話
ElectronでExactTargetのGUIツールを作ってみた話
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)
Heroku HTTP API Design Guide
Heroku HTTP API Design Guide
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Similar to 第一回Web技術勉強会 efkスタック編
Search on AWS - IVS CTO Night and Day 2016 Spring
Search on AWS - IVS CTO Night and Day 2016 Spring
Eiji Shinohara
日本語全文検索システム Kabayaki
日本語全文検索システム Kabayaki
Arai Ran
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Sotaro Kimura
Elasticsearchの基本動作まとめ
Elasticsearchの基本動作まとめ
朋哉 池田
DroidKaigi アプリの内部を見る
DroidKaigi アプリの内部を見る
健一 辰濱
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Glueの開発環境(zeppelin)をrancherで作ってみる
Glueの開発環境(zeppelin)をrancherで作ってみる
cloudfish
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Tadayasu Yotsu
The seminar of asp.net at 201908 sakurug
The seminar of asp.net at 201908 sakurug
SAKURUG co.
Elastic circle ci-co-webinar-20210127
Elastic circle ci-co-webinar-20210127
Shotaro Suzuki
20021127 ku-librarians勉強会 #38 : Where can I go? : OpenURLによる状況判断型リンク(SFXを中心として)
20021127 ku-librarians勉強会 #38 : Where can I go? : OpenURLによる状況判断型リンク(SFXを中心として)
kulibrarians
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
Rakuten Group, Inc.
SPARQLアプリケーション開発
SPARQLアプリケーション開発
Toshiaki Katayama
ニコニコニュースと全文検索
ニコニコニュースと全文検索
techtalkdwango
Cogbot #30 Ignite 2021 アップデート Cognitive Search 編
Cogbot #30 Ignite 2021 アップデート Cognitive Search 編
Ayako Omori
Azure Data Explorer
Azure Data Explorer
Daisuke Masubuchi
CROSS 2015 全文検索群雄割拠
CROSS 2015 全文検索群雄割拠
Katsushi Yamashita
静的サイトで書誌1万件チャレンジ.pptx
静的サイトで書誌1万件チャレンジ.pptx
genroku
.NET最先端技術によるハイパフォーマンスウェブアプリケーション
.NET最先端技術によるハイパフォーマンスウェブアプリケーション
Yoshifumi Kawai
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
Amazon Web Services Japan
Similar to 第一回Web技術勉強会 efkスタック編
(20)
Search on AWS - IVS CTO Night and Day 2016 Spring
Search on AWS - IVS CTO Night and Day 2016 Spring
日本語全文検索システム Kabayaki
日本語全文検索システム Kabayaki
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Elasticsearchの基本動作まとめ
Elasticsearchの基本動作まとめ
DroidKaigi アプリの内部を見る
DroidKaigi アプリの内部を見る
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Glueの開発環境(zeppelin)をrancherで作ってみる
Glueの開発環境(zeppelin)をrancherで作ってみる
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
The seminar of asp.net at 201908 sakurug
The seminar of asp.net at 201908 sakurug
Elastic circle ci-co-webinar-20210127
Elastic circle ci-co-webinar-20210127
20021127 ku-librarians勉強会 #38 : Where can I go? : OpenURLによる状況判断型リンク(SFXを中心として)
20021127 ku-librarians勉強会 #38 : Where can I go? : OpenURLによる状況判断型リンク(SFXを中心として)
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
SPARQLアプリケーション開発
SPARQLアプリケーション開発
ニコニコニュースと全文検索
ニコニコニュースと全文検索
Cogbot #30 Ignite 2021 アップデート Cognitive Search 編
Cogbot #30 Ignite 2021 アップデート Cognitive Search 編
Azure Data Explorer
Azure Data Explorer
CROSS 2015 全文検索群雄割拠
CROSS 2015 全文検索群雄割拠
静的サイトで書誌1万件チャレンジ.pptx
静的サイトで書誌1万件チャレンジ.pptx
.NET最先端技術によるハイパフォーマンスウェブアプリケーション
.NET最先端技術によるハイパフォーマンスウェブアプリケーション
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch ...
Recently uploaded
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
Recently uploaded
(8)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
第一回Web技術勉強会 efkスタック編
1.
第一回Web技術勉強会 EFKスタック編 田実 誠
2.
EFK• スタック ElasticSearch• RDB• のIndex 全文検索•
エンジンのIndex(転置Index) 形態素解析• Fluentd• Kibana• デモ• アジェンダ
3.
EFKスタック • ElasticSearch, Fluentd,
Kibanaによる分析基盤のこと →手軽に良い感じに導入できるのが人気 • ElasticSearch →全文検索エンジン • Fluentd →ログ収集、集約のOSS • Kibana →Webベースのビジュアライゼーションツール(BIツール的な) • Fluentdを使って任意のデータソースからElasticSearchにデータを集めて、Kibanaでビジュアライズ する、というアーキテクチャ
4.
ElasticSearch • 全文検索エンジンのOSS。Javaで作られている。 →Apache Lucene(全文検索ライブラリ)をベースに作られている •
全文検索? →複数の文書(ファイル)から特定の文字列を検索。Webの検索やSFDCのグローバル検索 にも使われている。 • スキーマフリー →JSONを入力値としてデータ型を推測して型定義を自動的に行なってくれる。事前定義も可能。 • HTTP APIベースで操作可能 • 転置Indexによる高速な全文検索 • HerokuのAddonとしては SearchBox/Bonsaiなどがある。 ElasticSearch RDB ドキュメント レコード(タプル) フィールド カラム インデックス データベース
5.
RDBのIndex Index• の種類は色々あるが大抵B-tree Index •
B-tree Indexは完全一致検索、前方一致検索で効果を発揮するが、あいまい検索は苦手。 ディレクトリで• 例えると、アルファベット順にドキュメントを並べて管理しているようなイメージ 出展:http://ja.wikipedia.org/wiki/B%2B%E6%9C%A8
6.
転置Index • 対象のキーワードがどのドキュメント(レコード)に入っているかどうかを検索するためのIndex • イメージ的には本の索引 1.
カツオはサザエの弟 → カツオ、は、サザエ、の、弟 2. サザエはワカメの姉 → サザエ、は、ワカメ、の、姉 3. ワカメはカツオの妹 → ワカメ、は、カツオ、の、妹 1. 「カツオ&弟」で検索 2. 「カツオ」は”1”, “3”にある 3. 「弟」は”1”にある 4. 共通する要素の”1”を返す カツオ→1, 3 サザエ→1, 2 ワカメ→2, 3 姉→2 妹→3 弟→1
7.
形態素解析 そもそも• 、この単語(=term)分割(analysis)ってどうやる? • N-gram →単語単位ではなく文字単位での区切り カツオはサザエの弟
→ カツオ、ツオは、オはサ、はサザ、サザエ、ザエの、エの弟 形態素解析• →解析用の辞書を使って品詞分解を行う →英語はスペース区切り+αで大体うまくいくが、日本語は難しい
8.
Fluentd • ストリーム(リアルタイム)なログコレクタ(転送・集約)※ログ用のETL • C+RubyなOSS •
Pluggable • シンプルな設定ファイル(Apacheに似ている) • Bufferingによる信頼性、Retry処理 • 柔軟なシステム構成 • TreasureDataが担っているOSS 出展:http://www.fluentd.org/architecture 出展:http://www.fluentd.org/architecture
9.
Kibana • ElasticSearch社が開発するOSSの分析、ビジュアライゼーションツール(Webアプリ) • 中身はHTML/JS/CSSなので簡単に設置可能 •
ElasticSearchがバックエンド (Luceneクエリが使える) →JavaScriptでESのAPIを叩いている • 基本的にはログの解析に利用される • Tableauや他のBIツールと比べて 無料で手軽に導入出来る点が魅力 出展:https://www.elastic.co/blog/kibana-4-beta-3-now-more-filtery
10.
デモ Fluentd• の設定ファイル ElasticSearch• の設定 Kibana•
の良い感じなビジュアライゼーション
11.
• EFKスタックは手軽に導入できる便利な分析基盤 →Fluentdを使って任意のデータソースからElasticSearchにデータを集めて、 Kibanaでビジュアライズする、というアーキテクチャ • ElasticSearchは全文検索エンジン •
Fluentdはログ収集、集約のOSS • Kibanaを使ってElasticSearchに溜めたデータを手軽にビジュアライズできる まとめ
12.
• ElasticSearch https://www.elastic.co/jp/products/elasticsearch http://www.slideshare.net/JunOhtani/elasticsearch-pyfes-201207 http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-webinar-2016- amazon-cloudsearch-amazon-elasticsearch-service • Fluentd http://www.fluentd.org/ •
Kibana https://www.elastic.co/jp/products/kibana • B-tree Index http://qiita.com/kiyodori/items/f66a545a47dc59dd8839 • EFK関連 http://www.slideshare.net/keisuke69/aws-night • 設定参考資料程度に http://freedom-man.com/blog/fluentd-elasticsearch-kibana-idle/ 参考URL
Download now