大数据简介

1. IN

3. RDBMS
Analytical DB
NoSQL DB
ERP/CRM
SaaS
Social Media
Web Analytics
Log Files
Call Data Records
Sensors
Machine-Generated

4. • 每秒2300 tweets
Velocity
• 结构，本结构，无结构
Variety
• Tera, Peta, Exa,Zetta
Volume

5. • 质量问题
Validation
• 管理，集成
Complexity
• 浏览，冲突分析，元数据存储
Lineage

6. Hadoop
HDFS M/R
Pig, Hive, Hbase, Zookeeper, Oozie

7. —— HDFS documentation

8. —— Talend

9. Hadoop
grid
Node
NodeNode
RDBMS
Analytical DB
NoSQL DB
ERP/CRM
SaaS
Social Media
Web Analytics
Log Files
Call Data
Records
Sensors
Machine-
Generated
挖掘，分析，搜索，
扩张
MDM
Quality
Integration

11. • 将作业直接生成编码，无须在集群进行安装
• MR代码完全契合Hadoop环境
直接部署于Hadoop平台
• 拖拽式开发
• 作业调度触发
可视化开发
• 支持Hive，Pig，Hbase，Sqoop，BigQuery，多
种NoSQL数据库的插接组件
• 支持连接目前所有主流的Hadoop发布版本——
Cloudera，Hortonworks，MapR，Amazon EMR
等
450多个插件
• 百分百得到Apache技术支持，完全融入Hadoop平
台
适用Apache许可

13. • 数据性能分析
• 数据去重
• 非结构化数据解析
• 数据标准化
• 数据补全
• 数据质量报表
功能概述
• 统一的元数据模型
• 统一的工作空间
• 统一的代码生成
• 统一的作业部署，运行及监控
与Talend ETL工具无缝衔接

17. • 基于Apache Hive (一个运行于
Hadoop上的数据仓库系统)
• 类似SQL的查询语句
• 用户无任何学习曲线
大数据质量分析
• 现有标准化组件介绍
• 实现将标准化过程Map Reduce
大数据的标准化
• 可进行大数据分簇
基于大数据的机器学习

18. Hadoop Distributions
Big Data Partnerships & Supported
Hadoop Distributions
Talend Big Data
Partners
Democratize the market by working with the major Hadoop and
Big Data solutions companies