首页 技术 正文
技术 2022年11月7日
0 收藏 884 点赞 1,125 浏览 865 个字

参考《深入理解Spark:核心思想与源码分析》

  Spark使用Scala进行编写,而Scala又是基于JVM运行,所以需要先安装JDK,这个不再赘述。

1.安装Scala

  安装获取Scala:

 wget http://download.typesafe.com/scala/2.11.5/scala-2.11.5.tgz

  将下载的文件移动到自家想要放置的目录。

  修改压缩文件的权限为755(所有者读写执行,同组成员读和执行,其他成员读和执行)

chmod 755 scala-2.11.5.tgz

  解压缩:

tar -xzvf scala-2.11.5.tgz

  打开/etc/profile,添加scala的环境变量

vim /etc/profile

  配置Spark

  查看scala是否安装成功:

scala

  配置Spark

2.安装完scala后,就要安装spark了

  只接从网站上下载了spark安装包:

  http://spark.apache.org/downloads.html

  将安装包移动到自己指定的位置,解压缩。

  配置环境变量:

  vim /etc/profile

  添加spark环境变量

  配置Spark

  使环境变量生效:

  source /etc/profile

  进入spark的conf文件目录,

  cd /home/hadoop/spark/spark-2.1.0-bin-hadoop2.7/conf
  cp spark-env.sh.template spark-env.sh

  在spark-env.sh目录中添加java hadoop scala的环境变量

  配置Spark

  启动spark:

  cd /home/hadoop/spark/spark-2.1.0-bin-hadoop2.7/sbin
  ./start-all.sh

  打开浏览器,输入http://localhost:8080

  配置Spark

   可见Spark已经运行了。

http://blog.csdn.net/wuliu_forever/article/details/52605198这个博客写的很好

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,489
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,904
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,737
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,490
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:8,128
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:5,290