Spark及Hadoop环境装配(1)-基本语言环境配置

 

  • 版本选择

环境依赖清单:

  1. Java在Spark与Hadoop生产中,一般使用Oracle JDK,版本选择是1.8
  2. ScalaScala在Spark 2.0+时选用2.11,Spark 2.0以下时选用2.10
  • JDK部署
  1. 下载Oracle JDK下载链接:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  2. 解压缩二进制包到/usr/local下的指定目录
  3. 使用软链接将指定目录依序/usr/local/jdk-1.8.xxx  >>  /usr/local/jdk-1.8  >>  /usr/local/jdk此处定义这种方法为本文中安装包软链接方案,这种方案有一些很灵异的好处,当你需要变更版本的时候,可以仅改变软链接就可以了。
  4. 设置环境变量在/etc/profile文件下添加以下内容:
    export JAVA_HOME=/usr/local/jdk
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib:$JAVA_HOME/lib
  • Scala部署
  1. 下载Scala语言包下载链接:http://www.scala-lang.org/download/
  2. 解压缩二进制包到/usr/local下的指定目录
  3. 使用软链接将指定目录依序/usr/local/scala-2.x.xxx  >>  /usr/local/scala-2.x  >>  /usr/local/scala
  4. 在/etc/profile文件下添加以下内容:
    export SCALA_HOME=/usr/local/scala
    export PATH=$SCALA_HOME/bin:$PATH
  • 生效与测试
  1. 使配置生效命令行执行:source /etc/profile
  2. 测试java在命令行执行:java

    当不提示找不到命令则证明配置成功

  3. 测试scala测试方式与java相似当执行scala时,出现scala-shell内容则证明成功

知识共享许可协议
只要你遵守许可协议条款,
你就可以在任何媒介以任何形式复制、发行本作品:
1. 您必须标注:附带链接到原文的声明转自RebieKong’s Blog。
2. 您不得将本作品用于商业目的。
3. 您不得基于本文进行创作任何衍生作品。