Spark源码分析
各个组件介绍
后面补充。。。。
StandAlone模式
在StandAlone模式的start-all的shell启动脚本下,在当前机器执行了JAVA_HOME/bin/java -cp ….Master和在配置的slave的机器中执行 JAVA_HOME/bin/java -cp ….Worker.这两种进程在启动后通过netty进行rpc通信。
Master的启动
首先创建一个RpcEnv对象,负责管理所有通信逻辑,核心代码为val rpcEnv: RpcEnv = R