星星博客 »  > 

Spark学习笔记-Day3 Mac-Spark运行环境(Local)

Spark 运行环境

local 模式

  1. 在Day2中我们下载了spark-hadoop包,在本次我们将继续使用这个压缩包,首先解压到当前位置,更改文件夹名称为sparkLocal,进入该文件夹,输入下面指令可以开启spark-shell
bin/spark-shell

我们可以在解压后的data文件夹内创建word.txt 文件,

cd data
vi word.txt
# 输入你想放入word.txt的内容 然后按esc,输入:wq, 按下Enter。

然后再命令行工具下执行如下代码。

scala> sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((scala,1), (hello,3), (world,2))

在运行scala代码的时候,因为collect()会连接到本地,所以mac需要在系统偏好设置的共享里面将远程登陆勾选上。
你可以通过 http://localhost:8080/ 来访问你的WebUI监控主页。
之后一般是使用local模式提交应用,可以使用本地的应用SparkPI来测试是否可以成功提交作业, 需要注意的是examples后面的版本号,找到对应的examples文件进行修改。

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.1.1.jar \
10

相关文章