zoukankan      html  css  js  c++  java
  • 安装Scala-2.11.7——集群学习日记

    前言

    在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。

    scala-2.11.7下载

    为了方便,我现在我的SparkMaster主机上先安装,把目录打开到/usr目录下,与我的Java目录相一致。

    wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
    • 1

    下载之后解压

    tar -zxvf scala-2.11.7.tgz
    • 1

    解压之后删除源文件

    rm -rf scala-2.11.7.tgz
    • 1

    配置环境

    在此需要打开/etc/profile文件进行配置

    vi /etc/profile
    • 1

    在文件的最后插入

    export SCALA_HOME=/usr/scala-2.11.7
    
    export PATH=$PATH:$SCALA_HOME/bin
    • 1
    • 2
    • 3

    这里写图片描述

    插入了之后要使得命令生效,需要的是:

    source /etc/profile
    • 1

    检测是否安装成功

    scala -version
    • 1

    这里写图片描述

    配置其他Slave主机也安装scala

    在此我选择在SparkMaster上使用rsync命令将/usr/scala-2.11.7/目录复制到其他SparkWorker上,另外/etc/profile文件也同样。

    rsync -av /usr/scala-2.11.7/ SparkWorker1:/usr/scala-2.11.7/
    • 1
    rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/
    • 1

    结言

    其实复制的时候多种方式,可以使用scp,但是发现rsync这个命令超级好用,故在此使用rsync进行复制。至此,三台的主机的scale文件已经配置好了。已经挺晚的了,明天再进行配置spark环境吧。

    文章出自kwongtai’blog,转载请标明出处!

  • 相关阅读:
    TPS限流
    JDK并发基础与部分源码解读
    tomcat6-servlet规范对接 与 ClassLoader隔离
    tomcat6-输入输出buffer设计
    tomcat6-endpoint设计
    springMVC请求路径 与实际资源路径关系
    mysql 常用的数据类型
    认识IPv4分组
    CSMA/CD协议(载波侦听多路访问/碰撞检测) 最小帧长理解
    简单的vector--- 2
  • 原文地址:https://www.cnblogs.com/adjk/p/8178419.html
Copyright © 2011-2022 走看看