您的位置首页生活百科

怎样安装使用Standalone模式

怎样安装使用Standalone模式

的有关信息介绍如下:

怎样安装使用Standalone模式

构建一个由Master+Slave构成的Spark集群,使Spark程序运行在集群中,且有Cluster与Client模式两种。主要区别在于:Driver程序的运行节点。

1)进入spark安装目录下的conf文件夹

2)修改配置文件名称

3)修改slave文件,添加work节点:

4)修改spark-env.sh文件,添加如下配置:

5)分发spark包

6)启动

网页查看:hadoop102:8080

注意:如果遇到 “JAVA_HOME not set” 异常,可以在sbin目录下的spark-config.sh 文件中加入如下配置:

7)官方求PI

8)启动spark shell

参数:--master spark://hadoop102:7077指定要连接的集群的master

执行WordCount程序