WordCount之Spark的三种提交方式

一、编写程序WordCount

1、导入相应jar包

这些jar包都在saprk的安装包里。

2、编写程序

package com.cn.sparkimport org.apache.spark.{SparkConf, SparkContext}object WordCount {  def main(args: Array[String]): Unit = {    val conf=new SparkConf().setAppName("WordCount");    val sc= new SparkContext(conf);    val input=sc.textFile("/home/test/aa.txt");    val lines=input.flatMap(line=>line.split(" "))    val kv=lines.map(word=>(word,1))    val count=kv.reduceByKey(_+_);    val output=count.saveAsTextFile("/home/test01/")  }}

3、在hadoop上面相应路径下创建怎么赚钱aa.txt

[root@master ~]# hdfs dfs -mkdir /home/test[root@master ~]# hdfs dfs -ls /home/test/Found 1 items-rw-r--r--   1 root supergroup         50 2019-12-09 19:34 /home/test/aa.txt[root@master ~]# hdfs dfs -cat /home/test/aa.txtword spark hbase spark hive word count word redis

4、保证hadoop文件夹下的/home/test01目录不存在。

因为saveAsTextFile要求事先提供一个不存在的路径，否则会报错。

二、提交yarn集群

1、注意：

此时并不需要启动spark集群，只需要启动yarn集群即可。

2、执行命令

[root@master bin]# ./spark-submit --master yarn --deploy-mode cluster  --class com.cn.spark.WordCount /home/test/wordCount_jar/SparkPro.jar

3、执行完毕查看yarn页面和结果

三、本地模式提交

1、说明

不指定master 或者  --master  local  local[N]  local[*]local: 只是用一个coreslocal[N]  : 使用N个coreslocal[*] : 使用当前机器的所有的可以用的cores注 : local 模式运行程序时 , 不能在 Spark 监控页面中进行查看这个也不需要启动spark集群

2、运行命令

[root@master bin]# ./spark-submit --master local[*]  --class com.cn.spark.WordCount /home/test/wordCount_jar/SparkPro.jar

3、执行结果

四、standalone方式提交

1、说明

spark本身提供的集群模式--master spark://host:port 这个需要先启动集群

2、执行命令

[root@master bin]# ./spark-submit --master spark://master:7077  --class com.cn.spark.WordCount /home/test/wordCount_jar/SparkPro.jar

3、结果：