深入浅出Spark什么是Standalone

Question

如题所述

Answer 1

Spark有四种基本运行方式：

今天来讲讲前两个：Local Mode，在本地运行一个实例；和Standalone Mode，自己管理自己的集群。

Local Mode：


如下图所示，这台机器有8核，我们可以用—master local[12]启动Spark local模式，12代表12个task，Spark会启动一个JVM来运行程序（Executer）。


Standalone Mode：


当我们使用多台机器，而又不想用YARN等进行集群管理的时候，我们就可以采用Standalone模式。我们可以看到有一个机器成为Master来管理这个集群，并且每个机器会启动一个Worker，Worker使用Executer来执行任务。Worker会在Master注册，从而Master可以调度每个Worder的资源。现在RDD可以分布在不同的机器上，并且根据每个机器的处理能力不同，会分配不同数量的task。如果只有一个Master，这个Master一旦挂了怎么办呢？所以还有备用的Master，他们通过Zookeeper来进行管理实现高可用性（High Availablity） 。