注意点:
- 安装Spark前先要配置好Scala运行环境。
- Spark和Scala需要在各个机器上配置。
环境变量配置
#scala conf
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin#spark conf
export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:$SPARK_HOME/bin
source ~/.bashrc
./conf 目录下的文件配置
export JAVA_HOME=/usr/local/src/jdk1.8.0_151
export SCALA_HOME=/usr/local/src/scala-2.11.8
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=yarn00
SPARK_LOCAL_DIRS=/usr/local/src/spark
SPARK_DRIVER_MEMORY=1G
yarn01
yarn02
- 将spark包分发到其它子节点,并配置好环境变量。
./sbin目录下启动spark