Concise introduction of Apache Spark

1. 大数据技术简介

2. 1.大数据简介及历史
2.Hadoop & Spark简介
3.Spark详解
4.Spark Demo

3. 大数据：
一种规模大到在获取、存储、管理、分析
方面大大超出了传统数据库软件工具能力范围的
数据集合，具有海量的数据规模、快速的数据流
转、多样的数据类型和价值密度低四大特征。

4. 机器学习算法
是一类从数据中自动分析获得规律，并利用
规律对未知数据进行预测的算法。

5. MapReduce: Simplified Data Processing on Large Clusters
=》Hadoop MapReduce
Bigtable: A Distributed Storage System for Structured Data
=》Hadoop Hbase
The Google File System
=》Hadoop HDFS
2004年，Google的MapReduce论文揭开了大数据处理的时代，
Hadoop的MapReduce在过去接近10年的时间成了大数据处理的
代名词。
2012年Matei Zaharia关于RDD的一篇论文“Resilient Distributed
Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster
Computing”则揭示了大数据处理技术一个新时代的到来。

6. 1.大数据简介及历史
2.Hadoop & Spark简介
3.Spark详解
4.Spark Demo

7. Apache Hadoop

8. Apache MapReduce

9. Apache HDFS

10. Berkeley数据分析栈

11. Apache Spark

12. Apache Tachyon

13. Hadoop vs Spark

14. Hadoop vs Spark

15. Spark Based Structure

16. 1.大数据简介及历史
2.Hadoop & Spark简介
3.Spark详解
4.Spark Demo

19. • Client：客户端进程，负责提交作业到Master。
• Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，
并命令Worker启动Driver和Executor。
• Worker：Standalone模式中slave节点上 的 守护进程 ，负责管理本节点的资源，
定期向 Master汇报心跳，接收Master的命令，启动Driver和Executor。
• Driver： 一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责
作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，
TaskScheduler。
• Executor：即真正执行作业的地方，一个集群一般包含多个Executor，每个
Executor接收Driver的命令Launch Task，一个Executor可以执行一到多个Task。
• Stage：一个Spark作业一般包含一到多个Stage。
• Task：一个Stage包含一到多个Task，通过多个Task实现并行运行的功能。
• DAGScheduler： 实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的
Partition个数决定Task的个数，然后生成相应的Task set放到TaskScheduler中。
• TaskScheduler：实现Task分配到Executor上执行。

23. 1.大数据简介及历史
2.Hadoop & Spark简介
3.Spark详解
4.Spark Demo