Spark 环境搭建

说明

Spark 开发环境的搭建是基于基于 CentOS7.2 环境编译 Spark-2.2.0 源码

请详细参照以上进行编译步骤进行相关操作

解压 Spark 安装包

解压编译好的 Spark 安装包

1	tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz -C /abs/app/

配置 Spark 环境变量

配置系统环境变量

vi ~/.bash_profile

export SPARK_HOME=/abs/app/spark-2.2.0-bin-2.6.0-cdh5.7.0
export PATH=$SPARK_HOME/bin:$PATH

让配置生效

1	source ~/.bash_profile

验证

在 /abs/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin 目录中输入 ./spark-shell --help 查看帮助选项

以本地模式运行 ./spark-shell --master local[2]

可以看到以下

Spark context Web UI available at http://192.168.10.100:4040
Spark context available as 'sc' (master = local[2], app id = local-1520521812619).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_161)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

在关闭防火墙的情况下通过在物理机的浏览器地址栏输入以下访问 WebUI

1	http://虚拟机的主机名:4040

以上说明 Spark 安装配置成功