SlideShare a Scribd company logo
flume
普及一下
flume是水槽,水道的意思
早期由cloudera开发,OG(old
generation),架构复杂,分为container,
master,zookeeper
2011开源,apache开发NG(new
generation),架构简单,分为agent,
source,channel,sink
与flume类似的有kafka,logstash
开箱即用
由agent构成,多个agent构成流作业
数据的持久性取决于channel的持久性
一个event是一个完整的信息
souce,拦截器,选择器,channel,sink运
行器,sink组,sink处理器,sink
配置文件决定一切
可分层,多个flume可以构成流水线
source
source是agent的数据入口
agent在source在
一个channel选择器,多个拦截器
source支持多种,http,exec source,spool
source,avro,thrift等
http协议配置
消息要有header,body
拦截器
修改header
减少event
可以查询数据库,丰富数据信息
不适合做太重的工作,消息通过拦截器后,
agent才返回
选择器
修改复制
复用
负载均衡
failover
多个source一个channel
requiered,optional
选择器
修改复制
复用
负载均衡
failover
多个source一个channel
requiered,optional
channel
事务性
多个channel对应一个source
一个事件只被一个sink读取
可以没有sink
memory,file
事件队列,WAL,checkfile
硬盘坏掉
sink
事务
没有配置channel的sink将被移除
sink可以写入hdfs,hbase,下一个agent
多个sink一个channel
选择器,负载均衡,failover

More Related Content

What's hot

Deployment with Capistrano
Deployment with CapistranoDeployment with Capistrano
Deployment with Capistrano
旭 張
 
Perl在nginx里的应用
Perl在nginx里的应用Perl在nginx里的应用
Perl在nginx里的应用
琛琳 饶
 
Linux常用命令
Linux常用命令Linux常用命令
Linux常用命令Tony Deng
 
1, shell intro
1, shell intro1, shell intro
1, shell introted-xu
 
Docker應用
Docker應用Docker應用
Svn安裝與使用簡易教學
Svn安裝與使用簡易教學Svn安裝與使用簡易教學
Svn安裝與使用簡易教學Ray Wei
 

What's hot (8)

Deployment with Capistrano
Deployment with CapistranoDeployment with Capistrano
Deployment with Capistrano
 
Perl在nginx里的应用
Perl在nginx里的应用Perl在nginx里的应用
Perl在nginx里的应用
 
Linux常用命令
Linux常用命令Linux常用命令
Linux常用命令
 
Rsync服务器架设方法.v0.1b
Rsync服务器架设方法.v0.1bRsync服务器架设方法.v0.1b
Rsync服务器架设方法.v0.1b
 
1, shell intro
1, shell intro1, shell intro
1, shell intro
 
Docker應用
Docker應用Docker應用
Docker應用
 
Windbg入门
Windbg入门Windbg入门
Windbg入门
 
Svn安裝與使用簡易教學
Svn安裝與使用簡易教學Svn安裝與使用簡易教學
Svn安裝與使用簡易教學
 

Viewers also liked

1. keynote Transformando la Nube en una oportunidad de crecimiento
1. keynote Transformando la Nube en una oportunidad de crecimiento1. keynote Transformando la Nube en una oportunidad de crecimiento
1. keynote Transformando la Nube en una oportunidad de crecimientoJuan Pablo
 
Zabbix в сервисной компании  ОНЛАНТА - Zabbix Meetup Moscow
Zabbix в сервисной компании  ОНЛАНТА -  Zabbix Meetup Moscow Zabbix в сервисной компании  ОНЛАНТА -  Zabbix Meetup Moscow
Zabbix в сервисной компании  ОНЛАНТА - Zabbix Meetup Moscow
Vadim Nesterov
 
Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)
Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)
Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)
Badoo Development
 
Windows Azure VPN Workshop
Windows Azure VPN WorkshopWindows Azure VPN Workshop
Windows Azure VPN Workshop
Juan Pablo
 
Roll Your Own API Management Platform with nginx and Lua
Roll Your Own API Management Platform with nginx and LuaRoll Your Own API Management Platform with nginx and Lua
Roll Your Own API Management Platform with nginx and Lua
Jon Moore
 
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, KibanaOn-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
Stratio
 
RPC protocols
RPC protocolsRPC protocols
RPC protocols
오석 한
 
Opensource將如何對第五代行動通訊(5g)造成革命性的改變
Opensource將如何對第五代行動通訊(5g)造成革命性的改變Opensource將如何對第五代行動通訊(5g)造成革命性的改變
Opensource將如何對第五代行動通訊(5g)造成革命性的改變
Chiahan Wu
 
Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)
Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)
Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)
Zabbix
 
Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)
Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)
Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)
Nederlandstalige Zabbix Gebruikersgroep
 
Tutorial on using CoreOS Flannel for Docker networking
Tutorial on using CoreOS Flannel for Docker networkingTutorial on using CoreOS Flannel for Docker networking
Tutorial on using CoreOS Flannel for Docker networking
LorisPack Project
 
最速の言語Lua ~Python Hack-a-thon #3~
最速の言語Lua ~Python Hack-a-thon #3~最速の言語Lua ~Python Hack-a-thon #3~
最速の言語Lua ~Python Hack-a-thon #3~
Yuki Tamura
 
Intro to Project Calico: a pure layer 3 approach to scale-out networking
Intro to Project Calico: a pure layer 3 approach to scale-out networkingIntro to Project Calico: a pure layer 3 approach to scale-out networking
Intro to Project Calico: a pure layer 3 approach to scale-out networking
Packet
 
Grafana zabbix
Grafana zabbixGrafana zabbix
Grafana zabbix
alexanderzobnin
 
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
Seungmin Yu
 
Application and Network Orchestration using Heat & Tosca
Application and Network Orchestration using Heat & ToscaApplication and Network Orchestration using Heat & Tosca
Application and Network Orchestration using Heat & Tosca
Nati Shalom
 
Summit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFV
Summit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFVSummit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFV
Summit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFV
OPNFV
 
Nginx+lua在阿里巴巴的使用
Nginx+lua在阿里巴巴的使用Nginx+lua在阿里巴巴的使用
Nginx+lua在阿里巴巴的使用
OpenRestyCon
 
Logstash
LogstashLogstash
Logstash
琛琳 饶
 
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...
Positive Hack Days
 

Viewers also liked (20)

1. keynote Transformando la Nube en una oportunidad de crecimiento
1. keynote Transformando la Nube en una oportunidad de crecimiento1. keynote Transformando la Nube en una oportunidad de crecimiento
1. keynote Transformando la Nube en una oportunidad de crecimiento
 
Zabbix в сервисной компании  ОНЛАНТА - Zabbix Meetup Moscow
Zabbix в сервисной компании  ОНЛАНТА -  Zabbix Meetup Moscow Zabbix в сервисной компании  ОНЛАНТА -  Zabbix Meetup Moscow
Zabbix в сервисной компании  ОНЛАНТА - Zabbix Meetup Moscow
 
Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)
Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)
Zabbix в Badoo или о чем не пишут в мануале, Илья Аблеев (Badoo)
 
Windows Azure VPN Workshop
Windows Azure VPN WorkshopWindows Azure VPN Workshop
Windows Azure VPN Workshop
 
Roll Your Own API Management Platform with nginx and Lua
Roll Your Own API Management Platform with nginx and LuaRoll Your Own API Management Platform with nginx and Lua
Roll Your Own API Management Platform with nginx and Lua
 
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, KibanaOn-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
 
RPC protocols
RPC protocolsRPC protocols
RPC protocols
 
Opensource將如何對第五代行動通訊(5g)造成革命性的改變
Opensource將如何對第五代行動通訊(5g)造成革命性的改變Opensource將如何對第五代行動通訊(5g)造成革命性的改變
Opensource將如何對第五代行動通訊(5g)造成革命性的改變
 
Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)
Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)
Zabbix: Прошлое, настоящее и будущее (Zabbix: Past, present and the future)
 
Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)
Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)
Monitoring the ELK stack using Zabbix and Grafana (Dennis Kanbier / 26-11-2015)
 
Tutorial on using CoreOS Flannel for Docker networking
Tutorial on using CoreOS Flannel for Docker networkingTutorial on using CoreOS Flannel for Docker networking
Tutorial on using CoreOS Flannel for Docker networking
 
最速の言語Lua ~Python Hack-a-thon #3~
最速の言語Lua ~Python Hack-a-thon #3~最速の言語Lua ~Python Hack-a-thon #3~
最速の言語Lua ~Python Hack-a-thon #3~
 
Intro to Project Calico: a pure layer 3 approach to scale-out networking
Intro to Project Calico: a pure layer 3 approach to scale-out networkingIntro to Project Calico: a pure layer 3 approach to scale-out networking
Intro to Project Calico: a pure layer 3 approach to scale-out networking
 
Grafana zabbix
Grafana zabbixGrafana zabbix
Grafana zabbix
 
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
Custom DevOps Monitoring System in MelOn (with InfluxDB + Telegraf + Grafana)
 
Application and Network Orchestration using Heat & Tosca
Application and Network Orchestration using Heat & ToscaApplication and Network Orchestration using Heat & Tosca
Application and Network Orchestration using Heat & Tosca
 
Summit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFV
Summit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFVSummit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFV
Summit 16: Open-O Mini-Summit - TOSCA and YANG Data Modeling for NFV
 
Nginx+lua在阿里巴巴的使用
Nginx+lua在阿里巴巴的使用Nginx+lua在阿里巴巴的使用
Nginx+lua在阿里巴巴的使用
 
Logstash
LogstashLogstash
Logstash
 
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...
 

Similar to Flume

高性能并发网络服务器设计与实现
高性能并发网络服务器设计与实现高性能并发网络服务器设计与实现
高性能并发网络服务器设计与实现ideawu
 
分布式索引系统调研
分布式索引系统调研分布式索引系统调研
分布式索引系统调研
zijingyeshao
 
Baidu Cloud Foundry
Baidu Cloud FoundryBaidu Cloud Foundry
Baidu Cloud Foundry
James Watters
 
用JAX-RS和Jersey完成RESTful Web Services
用JAX-RS和Jersey完成RESTful Web Services用JAX-RS和Jersey完成RESTful Web Services
用JAX-RS和Jersey完成RESTful Web Services
javatwo2011
 
Web开发与运维安全浅见
Web开发与运维安全浅见Web开发与运维安全浅见
Web开发与运维安全浅见
mysqlops
 
Web开发与运维安全浅见
Web开发与运维安全浅见Web开发与运维安全浅见
Web开发与运维安全浅见
CFC4N CHEN
 

Similar to Flume (6)

高性能并发网络服务器设计与实现
高性能并发网络服务器设计与实现高性能并发网络服务器设计与实现
高性能并发网络服务器设计与实现
 
分布式索引系统调研
分布式索引系统调研分布式索引系统调研
分布式索引系统调研
 
Baidu Cloud Foundry
Baidu Cloud FoundryBaidu Cloud Foundry
Baidu Cloud Foundry
 
用JAX-RS和Jersey完成RESTful Web Services
用JAX-RS和Jersey完成RESTful Web Services用JAX-RS和Jersey完成RESTful Web Services
用JAX-RS和Jersey完成RESTful Web Services
 
Web开发与运维安全浅见
Web开发与运维安全浅见Web开发与运维安全浅见
Web开发与运维安全浅见
 
Web开发与运维安全浅见
Web开发与运维安全浅见Web开发与运维安全浅见
Web开发与运维安全浅见
 

More from chernbb

预测 副本
预测   副本预测   副本
预测 副本
chernbb
 
Hbase拾荒者
Hbase拾荒者Hbase拾荒者
Hbase拾荒者
chernbb
 
排队排队--kafka
排队排队--kafka排队排队--kafka
排队排队--kafka
chernbb
 
hadoop中的懒人Hive
hadoop中的懒人Hivehadoop中的懒人Hive
hadoop中的懒人Hive
chernbb
 
大数据保险 副本
大数据保险   副本大数据保险   副本
大数据保险 副本
chernbb
 
我们需要你是这样的
我们需要你是这样的我们需要你是这样的
我们需要你是这样的
chernbb
 
抱着马云大腿谈谈管理
抱着马云大腿谈谈管理抱着马云大腿谈谈管理
抱着马云大腿谈谈管理
chernbb
 
微服务
微服务微服务
微服务
chernbb
 
谈谈小米的营销
谈谈小米的营销谈谈小米的营销
谈谈小米的营销
chernbb
 
大数据 数据挖掘
大数据 数据挖掘大数据 数据挖掘
大数据 数据挖掘
chernbb
 

More from chernbb (10)

预测 副本
预测   副本预测   副本
预测 副本
 
Hbase拾荒者
Hbase拾荒者Hbase拾荒者
Hbase拾荒者
 
排队排队--kafka
排队排队--kafka排队排队--kafka
排队排队--kafka
 
hadoop中的懒人Hive
hadoop中的懒人Hivehadoop中的懒人Hive
hadoop中的懒人Hive
 
大数据保险 副本
大数据保险   副本大数据保险   副本
大数据保险 副本
 
我们需要你是这样的
我们需要你是这样的我们需要你是这样的
我们需要你是这样的
 
抱着马云大腿谈谈管理
抱着马云大腿谈谈管理抱着马云大腿谈谈管理
抱着马云大腿谈谈管理
 
微服务
微服务微服务
微服务
 
谈谈小米的营销
谈谈小米的营销谈谈小米的营销
谈谈小米的营销
 
大数据 数据挖掘
大数据 数据挖掘大数据 数据挖掘
大数据 数据挖掘
 

Flume