Submit Search
Upload
翟艳堂:腾讯大规模Hadoop集群实践
•
0 likes
•
932 views
H
hdhappy001
Follow
BDTC 2013 Beijing China
Read less
Read more
Technology
Report
Share
Report
Share
1 of 21
Download Now
Download to read offline
Recommended
Hadoop大数据实践经验
Hadoop大数据实践经验
Schubert Zhang
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
hdhappy001
杨少华:阿里开放数据处理服务
杨少华:阿里开放数据处理服务
hdhappy001
Mesos-based Data Infrastructure @ Douban
Mesos-based Data Infrastructure @ Douban
Zhong Bo Tian
2016-07-12 Introduction to Big Data Platform Security
2016-07-12 Introduction to Big Data Platform Security
Jazz Yao-Tsung Wang
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
大數據
大數據
brian401777
More Related Content
What's hot
Introduction to K8S Big Data SIG
Introduction to K8S Big Data SIG
Jazz Yao-Tsung Wang
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Etu Solution
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
hdhappy001
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Jazz Yao-Tsung Wang
Azure Data Lake 簡介
Azure Data Lake 簡介
Herman Wu
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Etu Solution
Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結
James Chen
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Etu Solution
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
Jazz Yao-Tsung Wang
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
Jazz Yao-Tsung Wang
Hadoop 生態系十年回顧與未來展望
Hadoop 生態系十年回顧與未來展望
Jazz Yao-Tsung Wang
Life of Big Data Technologies
Life of Big Data Technologies
Jazz Yao-Tsung Wang
Hadoop 2.0 之古往今來
Hadoop 2.0 之古往今來
Wei-Yu Chen
How to plan a hadoop cluster for testing and production environment
How to plan a hadoop cluster for testing and production environment
Anna Yen
准实时海量数据分析系统架构探究
准实时海量数据分析系统架构探究
Min Zhou
When R meet Hadoop
When R meet Hadoop
Jazz Yao-Tsung Wang
Hadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TW
Jazz Yao-Tsung Wang
Azure HDInsight 介紹
Azure HDInsight 介紹
Herman Wu
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
Jack Gao
What's hot
(20)
Introduction to K8S Big Data SIG
Introduction to K8S Big Data SIG
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
俞晨杰:Linked in大数据应用和azkaban
俞晨杰:Linked in大数据应用和azkaban
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Azure Data Lake 簡介
Azure Data Lake 簡介
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
Hadoop 生態系十年回顧與未來展望
Hadoop 生態系十年回顧與未來展望
Life of Big Data Technologies
Life of Big Data Technologies
Hadoop 2.0 之古往今來
Hadoop 2.0 之古往今來
How to plan a hadoop cluster for testing and production environment
How to plan a hadoop cluster for testing and production environment
准实时海量数据分析系统架构探究
准实时海量数据分析系统架构探究
When R meet Hadoop
When R meet Hadoop
Hadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TW
Azure HDInsight 介紹
Azure HDInsight 介紹
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
Viewers also liked
Hadoop Hardware @Twitter: Size does matter.
Hadoop Hardware @Twitter: Size does matter.
Michael Zhang
Threading Successes 01 Intro
Threading Successes 01 Intro
guest40fc7cd
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
Michael Zhang
Cebu Condominium investment
Cebu Condominium investment
Cebu City Condominium 4 Sale
Girish Juneja - Intel Big Data & Cloud Summit 2013
Girish Juneja - Intel Big Data & Cloud Summit 2013
IntelAPAC
Intel Cloud Summit: Intel Platform Update
Intel Cloud Summit: Intel Platform Update
IntelAPAC
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
Michael Zhang
SalesStaff LLC Whitepaper - B2B Sales Funnel Alignment
SalesStaff LLC Whitepaper - B2B Sales Funnel Alignment
Insource Leads
廣告系統在Docker/Mesos上的可靠性實踐
廣告系統在Docker/Mesos上的可靠性實踐
Michael Zhang
Day 2 aziz apj aziz_big_datakeynote_press
Day 2 aziz apj aziz_big_datakeynote_press
IntelAPAC
Intel apj cloud big data summit sdi press briefing - panhorst
Intel apj cloud big data summit sdi press briefing - panhorst
IntelAPAC
Viewers also liked
(11)
Hadoop Hardware @Twitter: Size does matter.
Hadoop Hardware @Twitter: Size does matter.
Threading Successes 01 Intro
Threading Successes 01 Intro
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
Cebu Condominium investment
Cebu Condominium investment
Girish Juneja - Intel Big Data & Cloud Summit 2013
Girish Juneja - Intel Big Data & Cloud Summit 2013
Intel Cloud Summit: Intel Platform Update
Intel Cloud Summit: Intel Platform Update
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
SalesStaff LLC Whitepaper - B2B Sales Funnel Alignment
SalesStaff LLC Whitepaper - B2B Sales Funnel Alignment
廣告系統在Docker/Mesos上的可靠性實踐
廣告系統在Docker/Mesos上的可靠性實踐
Day 2 aziz apj aziz_big_datakeynote_press
Day 2 aziz apj aziz_big_datakeynote_press
Intel apj cloud big data summit sdi press briefing - panhorst
Intel apj cloud big data summit sdi press briefing - panhorst
Similar to 翟艳堂:腾讯大规模Hadoop集群实践
逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产
Denodo
Greenplum技术
Greenplum技术
锐 张
易思捷云操作系统概述
易思捷云操作系统概述
炳富 杨
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构
Denodo
海通证券金融云思考与实践(数据技术嘉年华2017)
海通证券金融云思考与实践(数据技术嘉年华2017)
Zhaoyang Wang
美团数据平台之Kafka应用实践和优化
美团数据平台之Kafka应用实践和优化
confluent
如何快速实现数据编织架构
如何快速实现数据编织架构
Denodo
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Fred Chiang
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
Zac John
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
markmind
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)
Denodo
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
Denodo
Trinity BDM - 橋接傳統與未來
Trinity BDM - 橋接傳統與未來
Etu Solution
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
Herman Wu
xxxx.pdf
xxxx.pdf
jtzlb1
Analytics in a Day.pptx
Analytics in a Day.pptx
LigangJin
Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)
Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)
Fred Chiang
企业系统商务智能设计
企业系统商务智能设计
George Ang
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
corlin chen
Data Pipeline Matters
Data Pipeline Matters
Jazz Yao-Tsung Wang
Similar to 翟艳堂:腾讯大规模Hadoop集群实践
(20)
逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产
Greenplum技术
Greenplum技术
易思捷云操作系统概述
易思捷云操作系统概述
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构
海通证券金融云思考与实践(数据技术嘉年华2017)
海通证券金融云思考与实践(数据技术嘉年华2017)
美团数据平台之Kafka应用实践和优化
美团数据平台之Kafka应用实践和优化
如何快速实现数据编织架构
如何快速实现数据编织架构
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
Trinity BDM - 橋接傳統與未來
Trinity BDM - 橋接傳統與未來
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
xxxx.pdf
xxxx.pdf
Analytics in a Day.pptx
Analytics in a Day.pptx
Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)
Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)
企业系统商务智能设计
企业系统商务智能设计
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
Data Pipeline Matters
Data Pipeline Matters
More from hdhappy001
詹剑锋:Big databench—benchmarking big data systems
詹剑锋:Big databench—benchmarking big data systems
hdhappy001
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
袁晓如:大数据时代可视化和可视分析的机遇与挑战
袁晓如:大数据时代可视化和可视分析的机遇与挑战
hdhappy001
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
hdhappy001
徐萌:中国移动大数据应用实践
徐萌:中国移动大数据应用实践
hdhappy001
肖永红:科研数据应用和共享方面的实践
肖永红:科研数据应用和共享方面的实践
hdhappy001
肖康:Storm在实时网络攻击检测和分析的应用与改进
肖康:Storm在实时网络攻击检测和分析的应用与改进
hdhappy001
夏俊鸾:Spark——基于内存的下一代大数据分析框架
夏俊鸾:Spark——基于内存的下一代大数据分析框架
hdhappy001
魏凯:大数据商业利用的政策管制问题
魏凯:大数据商业利用的政策管制问题
hdhappy001
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
hdhappy001
王峰:阿里搜索实时流计算技术
王峰:阿里搜索实时流计算技术
hdhappy001
钱卫宁:在线社交媒体分析型查询基准评测初探
钱卫宁:在线社交媒体分析型查询基准评测初探
hdhappy001
穆黎森:Interactive batch query at scale
穆黎森:Interactive batch query at scale
hdhappy001
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
刘诚忠:Running cloudera impala on postgre sql
刘诚忠:Running cloudera impala on postgre sql
hdhappy001
刘昌钰:阿里大数据应用平台
刘昌钰:阿里大数据应用平台
hdhappy001
李战怀:大数据背景下分布式系统的数据一致性策略
李战怀:大数据背景下分布式系统的数据一致性策略
hdhappy001
冯宏华:H base在小米的应用与扩展
冯宏华:H base在小米的应用与扩展
hdhappy001
堵俊平:Hadoop virtualization extensions
堵俊平:Hadoop virtualization extensions
hdhappy001
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
hdhappy001
More from hdhappy001
(20)
詹剑锋:Big databench—benchmarking big data systems
詹剑锋:Big databench—benchmarking big data systems
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
袁晓如:大数据时代可视化和可视分析的机遇与挑战
袁晓如:大数据时代可视化和可视分析的机遇与挑战
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
徐萌:中国移动大数据应用实践
徐萌:中国移动大数据应用实践
肖永红:科研数据应用和共享方面的实践
肖永红:科研数据应用和共享方面的实践
肖康:Storm在实时网络攻击检测和分析的应用与改进
肖康:Storm在实时网络攻击检测和分析的应用与改进
夏俊鸾:Spark——基于内存的下一代大数据分析框架
夏俊鸾:Spark——基于内存的下一代大数据分析框架
魏凯:大数据商业利用的政策管制问题
魏凯:大数据商业利用的政策管制问题
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王涛:基于Cloudera impala的非关系型数据库sql执行引擎
王峰:阿里搜索实时流计算技术
王峰:阿里搜索实时流计算技术
钱卫宁:在线社交媒体分析型查询基准评测初探
钱卫宁:在线社交媒体分析型查询基准评测初探
穆黎森:Interactive batch query at scale
穆黎森:Interactive batch query at scale
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
刘诚忠:Running cloudera impala on postgre sql
刘诚忠:Running cloudera impala on postgre sql
刘昌钰:阿里大数据应用平台
刘昌钰:阿里大数据应用平台
李战怀:大数据背景下分布式系统的数据一致性策略
李战怀:大数据背景下分布式系统的数据一致性策略
冯宏华:H base在小米的应用与扩展
冯宏华:H base在小米的应用与扩展
堵俊平:Hadoop virtualization extensions
堵俊平:Hadoop virtualization extensions
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
陈跃国:Sql on-hadoop结构化大数据分析系统性能评测
翟艳堂:腾讯大规模Hadoop集群实践
1.
腾讯大规模 Hadoop集群实践 腾讯数据平台部 翟艳堂
2.
数据服务总体框架 数据开发者平台 SNG Lhotse统一调度 + 数据应用门户 自助提取与分析 专题分析 IEG MIG TDBank OMG 数据采 集与分 发 TDW 海量数据存储 与计算 精准推荐模型 社交广告 电商 视频
其它 CDG TRC 实时计算平台 ECC 数据规范化管理 实时采集 流式计算 TEG 数据仓库 数 据 分 析 数据应用 分布式存储 精 准 推 荐
3.
为什么要做大集群 • 数据共享 • 计算资源共享 •
减轻运营负担 福永微博集群 350台 枢纽点击流集群 500台 SOSO集群 南汇集群 财付通集群 …… 宝安主集群 IEG/MIG/… 450台TS4 宝安公用集群 500台 同乐主集群 SNG/OMG/ECC 1250台 TS4+TS5 宝安数挖集群 250台 宝安TA集群 宝安智胜集群 …… 同乐微博集群 200台 TDW
4.
面临的挑战 400台 1年 计算层 4000台 存储层 JobTracker调度效率低 NameNode没有容灾 集群扩展性不好 丢失1个小时数据的风险 重启耗时长 不支持灰度变更 高可用 高效 高扩展性 JobTracker分散化 NameNode高可用 高可用 高效 高扩展性
5.
JobTracker分散化
6.
方案选择 TDW基线版本: CDH3u3 Yarn Corona 版本稳定性 社区开发中,稳定版发布时间未知 facebook发布的版本 代码复杂度 2.X系列代码,完全重构 基于0.20系列代码 HDFS的要求 2.X HDFS 0.20系统HDFS 时间:2012年12月
7.
JobTracker分散化 Cluster Manager Job Tracker 资源管理 任务调度 任务管理 资源管理 任务调度 JobTracker 任务管理 … Task Task Tracker Tracker ... Task Task Task Tracker
Tracker Tracker ... JobTracker分散化平行扩展 资源管理和任务调度解耦 更精细地调度 任务管理
8.
JobTracker分散化 1. request jobtracker
resource Cluster Manager 2. grant jobtracker resource JobClient 4. request map/reduce resource 5. grant map/reduce resource heartbeat heartbeat JobTracker 3. start jobtracker 6. submit launch map/reduce actions Task Task Task Tracker Tracker Tracker map/ heartbeat reduce ...
9.
NameNode高可用
10.
NameNode高可用 zk1 zk2 … client meta ops client meta ops Name Node check
Second point NameNode ANN BNN learn meta BNN sync edit log blockreport Data Node Data Node ... Data Node Data Node blockrepor t ... 一主两热备 元数据在主备间实时同步 DataNode同时向3个Master汇报Block
11.
Namenode主备仲裁以及状态转换 zookeeper cluster ../repView/ A:ip1,S:ip2,S:ip3 zookeeper
cluster ../repView/ A:ip2,S:ip3,n:ip1 ../election/1,2,3 X heatbeat client Active:IP1 Standby:IP2 ../repView/ A:ip2,S:ip3,n:ip1 newbie:IP1 Standby:IP3 client ../election/2,3 重新学习,收集DN状态 client 重新获取主 更新repview newbie:IP1 Standby:IP3 heatbeat Active:IP2 ../repView/ A:ip2,S:ip3,S:ip1 heatbeat Active:IP2 ../election/2,3 Standby:IP2 ../election/2,3 4 heatbeat client standby:IP1 Active:IP2 Standby:IP3
12.
NameNode分散化
13.
NameNode分散化 Hive Hive user Tbl_a, Tbl_b submit mr user 获取NN信息 Meta Tbl_a Tbl_b namenode
3 ... submit mr namenode 1 .... 计算层 计算层 Namenode DN DN Tbl_b Tbl_a ... HDFS Cluster1 (NameNode1) HDFS Cluster2 (NameNode2) 按业务分布 按负载分布资源 HDFS Cluster3 (NameNode3)
14.
优化运营
15.
HDFS兼容 0.20.1 CDH3u3 2.0 routing table FileSystem DFSClient NameNode AbstractFil eSystem RPC Server NameNode FileSystem DFSClient RPC
Server AbstractFil eSystem routing table DataNode DataNode HDFS HDFS
16.
检测节点短板 • 1个节点慢,整个job慢 监控数据库 CPU利用率最高的/最低的 reduce平均执行时间最大的 推测执行差异化服务 • 一视同仁 –
资源浪费 • 关键任务不能执行慢,非关键任务不能卡死 关键任务 非关键任务 推测比例 90% 1% 推测间隔 5s 30m
17.
防止数据误删除 • 误删除数据将会造成灾难 – NameNode回收站 –
删除黑白名单 – DataNode回收站 大Job的困扰 • 资源池限制 • 生产时段和非生产时段动态调整 • 下手狠一点
18.
业务迁移 MapReduce HDFS1 HDFS2 • • • • • DB为迁移切换单位 计算出空窗期 全量迁移DB 循环补充迁移更新的表 实施切换
19.
集群发展现状 单集群支撑规模 400 4400 集群容量 每日作业数 4万 100万+ –服务器 4400台 每日计算量 0.26PB 4PB –CPU ~10w+核 存储利用率 85%+ 83%+ CPU利用率 30% 85%+ –内存
~275TB 数据安全性 可能会丢失1个小时 数据 丢数据风险很低 重启暂停线上服 1小时 务时间 秒级自动无缝切换 总存储量 4PB 80PB 文件数+块数 5千万 6亿 –磁盘 ~52800块 –存储容量 ~100PB
20.
未来计划 • 引入Yarn作为统一的资源管理平台 – 支持MapReduce、Storm、Spark、Tez等计算模型 •
实时计算平台 • 类Dremel系统 • 开源计划
21.
谢 谢
Download Now