Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Hiroshi Toyama
3,475 views
Fluentdで本番環境を再現
Fluentd Meetup 2015 夏 で発表した資料です。
Software
◦
Read more
4
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 38
2
/ 38
3
/ 38
4
/ 38
5
/ 38
6
/ 38
7
/ 38
8
/ 38
9
/ 38
10
/ 38
11
/ 38
12
/ 38
13
/ 38
14
/ 38
15
/ 38
16
/ 38
17
/ 38
18
/ 38
19
/ 38
20
/ 38
21
/ 38
22
/ 38
23
/ 38
24
/ 38
25
/ 38
26
/ 38
27
/ 38
28
/ 38
29
/ 38
30
/ 38
31
/ 38
32
/ 38
33
/ 38
34
/ 38
35
/ 38
36
/ 38
37
/ 38
38
/ 38
More Related Content
PDF
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
by
Shin Ohno
PPTX
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
by
NTT DATA Technology & Innovation
PDF
MQTTとAMQPと.NET
by
terurou
PDF
40歳過ぎてもエンジニアでいるためにやっていること
by
onozaty
PDF
忙しい人の5分で分かるDocker 2017年春Ver
by
Masahito Zembutsu
PDF
WebSocketのキホン
by
You_Kinjoh
PPTX
マイクロサービスにおける 結果整合性との戦い
by
ota42y
PDF
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
by
infinite_loop
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
by
Shin Ohno
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
by
NTT DATA Technology & Innovation
MQTTとAMQPと.NET
by
terurou
40歳過ぎてもエンジニアでいるためにやっていること
by
onozaty
忙しい人の5分で分かるDocker 2017年春Ver
by
Masahito Zembutsu
WebSocketのキホン
by
You_Kinjoh
マイクロサービスにおける 結果整合性との戦い
by
ota42y
大規模ソーシャルゲームを支える技術~PHP+MySQLを使った高負荷対策~
by
infinite_loop
What's hot
PDF
インフラエンジニアの綺麗で優しい手順書の書き方
by
Shohei Koyama
PDF
それはYAGNIか? それとも思考停止か?
by
Yoshitaka Kawashima
PDF
REST API のコツ
by
pospome
PDF
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
by
Yahoo!デベロッパーネットワーク
PDF
コンテナの作り方「Dockerは裏方で何をしているのか?」
by
Masahito Zembutsu
PDF
RESTful Web アプリの設計レビューの話
by
Takuto Wada
PDF
ソーシャルゲーム案件におけるDB分割のPHP実装
by
infinite_loop
PPTX
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
by
NTT DATA Technology & Innovation
PDF
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
by
Yahoo!デベロッパーネットワーク
PPTX
マイクロサービスにおける非同期アーキテクチャ
by
ota42y
PDF
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
by
NTT DATA Technology & Innovation
PPTX
backlogsでもCI/CDする夢を見る
by
Takeru Maehara
PDF
モダン PHP テクニック 12 選 ―PsalmとPHP 8.1で今はこんなこともできる!―
by
shinjiigarashi
PDF
分散トレーシング技術について(Open tracingやjaeger)
by
NTT Communications Technology Development
PDF
マイクロサービスバックエンドAPIのためのRESTとgRPC
by
disc99_
PDF
コンテナ未経験新人が学ぶコンテナ技術入門
by
Kohei Tokunaga
PDF
新入社員のための大規模ゲーム開発入門 サーバサイド編
by
infinite_loop
PDF
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
by
Google Cloud Platform - Japan
PPT
ドメインロジックの実装方法とドメイン駆動設計
by
Tadayoshi Sato
PDF
PostgreSQLの関数属性を知ろう
by
kasaharatt
インフラエンジニアの綺麗で優しい手順書の書き方
by
Shohei Koyama
それはYAGNIか? それとも思考停止か?
by
Yoshitaka Kawashima
REST API のコツ
by
pospome
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
by
Yahoo!デベロッパーネットワーク
コンテナの作り方「Dockerは裏方で何をしているのか?」
by
Masahito Zembutsu
RESTful Web アプリの設計レビューの話
by
Takuto Wada
ソーシャルゲーム案件におけるDB分割のPHP実装
by
infinite_loop
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
by
NTT DATA Technology & Innovation
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
by
Yahoo!デベロッパーネットワーク
マイクロサービスにおける非同期アーキテクチャ
by
ota42y
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
by
NTT DATA Technology & Innovation
backlogsでもCI/CDする夢を見る
by
Takeru Maehara
モダン PHP テクニック 12 選 ―PsalmとPHP 8.1で今はこんなこともできる!―
by
shinjiigarashi
分散トレーシング技術について(Open tracingやjaeger)
by
NTT Communications Technology Development
マイクロサービスバックエンドAPIのためのRESTとgRPC
by
disc99_
コンテナ未経験新人が学ぶコンテナ技術入門
by
Kohei Tokunaga
新入社員のための大規模ゲーム開発入門 サーバサイド編
by
infinite_loop
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
by
Google Cloud Platform - Japan
ドメインロジックの実装方法とドメイン駆動設計
by
Tadayoshi Sato
PostgreSQLの関数属性を知ろう
by
kasaharatt
Viewers also liked
PDF
Re:dash Use Cases at iPROS
by
Jumpei Yokota
PDF
re:dash is awesome
by
Hiroshi Toyama
PPTX
Fluentd+MongoDB+Groovy
by
Daisuke Ando
PPTX
仮想マシンとVagrant + Vagrant 1.5
by
Daisuke Kikuchi
PPTX
Hubotを使ってbotをつくろう!
by
Daisuke Kikuchi
PPTX
Fluentd勉強会 (導入編 TreasureData活用)
by
takeuchi-tk
PPTX
初心者Vimmerによるvim+rails開発
by
Daisuke Kikuchi
PPTX
Vagrant
by
Hiroshi Toyama
DOCX
6331 sayılı isg kanunu
by
NESİL BİLİŞİM TEKNOLOJİLERİ -
PPTX
インフラエンジニアLv1がWordPressまわりに色々してみた話
by
Daisuke Kikuchi
PPTX
Fluentd
by
Hiroshi Toyama
PDF
Fluentd introduction at ipros
by
Treasure Data, Inc.
PDF
CoreOS入門
by
Yutaka Matsubara
PPTX
リーダブルコード 1.0'
by
Yamamura Takashi
PDF
Markdownでドキュメント作成
by
Yasuyuki Fujikawa
PDF
CSS Nite LP38に行ってきた
by
Yasuyuki Fujikawa
PPTX
Ipros techmeetup 20131218_scala_handson
by
honda-y
PDF
MBaaS - Parse
by
Junya Yamaguchi
PDF
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
by
Junya Yamaguchi
PPTX
マイナスを0にもっていくまで
by
Sora Hasimoto
Re:dash Use Cases at iPROS
by
Jumpei Yokota
re:dash is awesome
by
Hiroshi Toyama
Fluentd+MongoDB+Groovy
by
Daisuke Ando
仮想マシンとVagrant + Vagrant 1.5
by
Daisuke Kikuchi
Hubotを使ってbotをつくろう!
by
Daisuke Kikuchi
Fluentd勉強会 (導入編 TreasureData活用)
by
takeuchi-tk
初心者Vimmerによるvim+rails開発
by
Daisuke Kikuchi
Vagrant
by
Hiroshi Toyama
6331 sayılı isg kanunu
by
NESİL BİLİŞİM TEKNOLOJİLERİ -
インフラエンジニアLv1がWordPressまわりに色々してみた話
by
Daisuke Kikuchi
Fluentd
by
Hiroshi Toyama
Fluentd introduction at ipros
by
Treasure Data, Inc.
CoreOS入門
by
Yutaka Matsubara
リーダブルコード 1.0'
by
Yamamura Takashi
Markdownでドキュメント作成
by
Yasuyuki Fujikawa
CSS Nite LP38に行ってきた
by
Yasuyuki Fujikawa
Ipros techmeetup 20131218_scala_handson
by
honda-y
MBaaS - Parse
by
Junya Yamaguchi
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
by
Junya Yamaguchi
マイナスを0にもっていくまで
by
Sora Hasimoto
Similar to Fluentdで本番環境を再現
PDF
Fluentdのお勧めシステム構成パターン
by
Kentaro Yoshida
PPTX
Fluentd1.2 & Fluent Bit
by
Seiya Mizuno
PPTX
545人のインフラを支えたNOCチーム!
by
Masayuki Kobayashi
PDF
AWSで透過プロキシをやってみた
by
kuro kuro
PDF
FluentdとGrothForecastをインストールする
by
regret raym
PDF
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
PDF
Fluentd casual
by
oranie Narut
PDF
BMP活用による SDN時代のオーバレイNW監視手法の提案
by
Toshiki Tsuboi
PDF
第二回IoT関連技術勉強会 ログ収集編
by
tzm_freedom
KEY
Webサーバ勉強会 LT資料
by
学 松崎
PPTX
Fluxflex meetup 2011 in Tokyo
by
Kyosuke Inoue
PDF
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
PPTX
Flumeを活用したAmebaにおける大規模ログ収集システム
by
Satoshi Iijima
PDF
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
by
id774
PDF
社内向けTech Talk資料~Fluentdの基本紹介~
by
Daisuke Ikeda
PDF
Shadow Server on Fluentd at Fluentd Casual Talks #3
by
Naotoshi Seo
PDF
Fluentd in #tkrk10
by
SATOSHI TAGOMORI
PDF
Fluentとmongoで作るサービス
by
直也 堀松
PDF
OSSで支えられるライブドアの巨大ログ集計 #nhntech
by
SATOSHI TAGOMORI
PPTX
Fluentd+elasticsearch+kibana(fluentd編)
by
Daisuke Kikuchi
Fluentdのお勧めシステム構成パターン
by
Kentaro Yoshida
Fluentd1.2 & Fluent Bit
by
Seiya Mizuno
545人のインフラを支えたNOCチーム!
by
Masayuki Kobayashi
AWSで透過プロキシをやってみた
by
kuro kuro
FluentdとGrothForecastをインストールする
by
regret raym
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
Fluentd casual
by
oranie Narut
BMP活用による SDN時代のオーバレイNW監視手法の提案
by
Toshiki Tsuboi
第二回IoT関連技術勉強会 ログ収集編
by
tzm_freedom
Webサーバ勉強会 LT資料
by
学 松崎
Fluxflex meetup 2011 in Tokyo
by
Kyosuke Inoue
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
Flumeを活用したAmebaにおける大規模ログ収集システム
by
Satoshi Iijima
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
by
id774
社内向けTech Talk資料~Fluentdの基本紹介~
by
Daisuke Ikeda
Shadow Server on Fluentd at Fluentd Casual Talks #3
by
Naotoshi Seo
Fluentd in #tkrk10
by
SATOSHI TAGOMORI
Fluentとmongoで作るサービス
by
直也 堀松
OSSで支えられるライブドアの巨大ログ集計 #nhntech
by
SATOSHI TAGOMORI
Fluentd+elasticsearch+kibana(fluentd編)
by
Daisuke Kikuchi
Recently uploaded
PPTX
JavaScript/TypeScript実力強化書 2章のアップデート Forkwell Library
by
Yoshiki Shibukawa
PDF
20251122_OWASPNagoya_takei_ITU-T,X.1060,security
by
OWASP Nagoya
PDF
Gluesync:RDBMS、NoSQL,データレイク間のリアルタイム・データレプリケーション
by
株式会社クライム
PDF
N2WS Backup & Recovery と Veeam Backup for AWS
by
株式会社クライム
PDF
Veeam&WasabiでトリプルV: クラウドへのランサムウエア対策の決定コンビ
by
株式会社クライム
PDF
最高峰のストレージとバックアップ:ARTESCA+Veeam:統合型ソフトウェア
by
株式会社クライム
JavaScript/TypeScript実力強化書 2章のアップデート Forkwell Library
by
Yoshiki Shibukawa
20251122_OWASPNagoya_takei_ITU-T,X.1060,security
by
OWASP Nagoya
Gluesync:RDBMS、NoSQL,データレイク間のリアルタイム・データレプリケーション
by
株式会社クライム
N2WS Backup & Recovery と Veeam Backup for AWS
by
株式会社クライム
Veeam&WasabiでトリプルV: クラウドへのランサムウエア対策の決定コンビ
by
株式会社クライム
最高峰のストレージとバックアップ:ARTESCA+Veeam:統合型ソフトウェア
by
株式会社クライム
Fluentdで本番環境を再現
1.
Fluentdで 本番環境を再現 するFluentd Meetup 2015 夏
2.
3.
4.
https://iprostm.doorkeeper.jp /events/25664 参加者募集中! Speakerになってもいい人いたら是非連絡ください! @toyama0919
5.
6.
アジェンダ Shadow Proxy fluent-plugin-http_shadow ユースケース まとめ
7.
Shadow Proxy
8.
Shadow Proxy productionのhttp requestを複製してバックエンドに送 信するproxy 限りなく本番に近い環境をを再現できる 主な用途は負荷試験や結合試験 本番環境を開発環境で再現するアプローチ
9.
10.
Shadow Proxy何故? WEBのtestが年々複雑化してきている 本番に入れてみたら変なデータが入ってきて落ちた り。。 本番運用したら負荷が大きすぎて落ちたり。。
11.
導入 するしかない!
12.
方式を考えた 公開されているOSSを使う cookpad/kage lestrrat/p5-Geest kentaro/delta mod_mrubyやngx_mruby nginx層やapache層の処理をmrubyでscriptingできる
13.
14.
15.
懸念点があった ユーザーに密接するフロントエンドにミドルウェアをあ まり入れたくない proxyが挟まることによるユーザーへの影響が不安 もう少し安全にやりたい 要はフロントエンドに手を入れずShadow Proxyやりたい
16.
Fluentdで 出来そうな予感
17.
fluent-plugin-http_shadow
18.
fluent-plugin-http_shadow Fluentdからhttp requestを復元 フロントエンドに手を入れずにShadow Proxyを実現 ApacheやNginxのログを想定しているが、専用のログで post等も実現可能
19.
20.
パラメータ rateによる希釈 timeout 並列数 http headerとcookieを指定可能 virtual host
21.
rateによる希釈 本番と同じスペックを揃えられない 同じrequestを送信したらstaging環境が破裂した 最初は1%で運用、徐々に上げてくのが安全
22.
timeout timeoutが長すぎるとbufferが詰まる fluent-plugin-elasticsearchと同じ 短いtimeoutであればclient側でtimeoutするのでbuffer が詰まりにくい
23.
並列数 Apache Benchの用にhttp requestを並列で投げる Aggregatorが複数あればrequest元を分散できる あまり一斉にrequestを投げるとサーバー側が破裂する サーバー数でscaleさせたい場合は各サーバーの並列数を 低めに
24.
注意点config_paramsにhashが使えないversionはダメ
25.
<match http_shadow.example> type http_shadow host_hash
{ "www.example.com": "staging.example.com", } host_key host path_format ${path} method_key method header_hash { "Referer": "${referer}", "User-Agent": "${user_agent}" } max_concurrency 10 flush_interval 10 timeout 10 rate 10 </match>
26.
ユースケース
27.
主なユースケース バグ発見器 パフォーマンスの比較
28.
バグ発見器 開発環境でとりあえず流しとけば結構バグが見つかるw 通常テスト時には邪魔になるので、rateを下げる
29.
昨今のミドルウェア更新頻度 開発が活発なミドルウェアは毎週のようにアップデート が実施される ライブラリのアップデートの更新頻度も年々上がってい る 特にOSSだとその傾向が強い アップデートしないという選択肢もある
30.
ミドルウェアアップデート時 同じWEBサーバを2つ用意し、片方だけアップデートす る fluentdのcopyでhttp_shadowのmatch directiveを作る 全く同じrequestが送信されることが保証される newrelicでパフォーマンスを比較
31.
copyで複製<match http_shadow.**> type copy <store> type
http_shadow ... </store> <store> type http_shadow ... </store> ... </match>
32.
33.
productionと比較は? productionと同じ構成には費用がかかる Fluentdのcopyで同一のhttp requestが保証できる 環境間の差分を見る
34.
まとめと感想
35.
完全なShadow環境は難しい メールアドレスはMASKされており本番と違う Postのパラメータはログに出せない Kageでもgetだけ送信するようなサンプルが提示されて たりする ブラウザによるアクセスではない
36.
完全なるShadow環境は危険 意図しないデータの更新 Get(参照系)だけでも9割は再現出来る 管理画面とかとは相性が悪い
37.
まとめ shadow環境はバグを沢山見つけてくれる ミドルウェアの更新頻度が多い現代に合っている Fluentd上ならこういったことがCasualにできる
38.
ありがとう ございました
Download