Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
1.Spark有几种部署模式,各个模式的特点
1.本地模式
Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。方便调试,本地模式分三类
local:只启动一个executor
local[k]: 启动k个executor
local:启动跟cpu数目相同的 executor
2.standalone模式
分布式部署集群,自带完整的服务,资源管理和任务监控是Spark自己监控,这个模式也是其他模