zoukankan      html  css  js  c++  java
  • 寒假自学进度3

      今天主要是改了一些配置使spark可以在服务器外边运行以及安装了Scala

      一、按照前面林子雨教程安装完以后 http://dblab.xmu.edu.cn/blog/804-2/ 

    1.输入gedit /usr/local/spark/conf/spark-env.sh命令或者按照这个位置自行打开文件编辑即可

        2.填入(注意IP和jdk需要根据自己版本进行相应更改)

    export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-1.el6_10.x86_64/jre
    #export SCALA_HOME=/usr/local/scala-2.11.12(先注释掉 等安装完Scala再根据实际Scala版本进行相应更改并取消注释)
    export HADOOP_HOME=/usr/local/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

    export SPARK_MASTER_HOST=192.168.57.128

    export SPARK_LOCAL_IP=192.168.57.128

      3.然后输入命令

    1.cp /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slaves

    2.gedit /usr/local/spark/conf/slaves

     4.将localhost改为对应虚拟机ip的地址192.168.57.128(根据自己情况更改)
    5.
    输入sbin/start-master.sh 验证spark安装 在服务器外边输入http://192.168.57.128:8080/

      二、安装Scala

     1.依次输入以下三条命令

     1.wget http://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz(此过程时长因网速而异)

     2.tar -zxvf scala-2.11.12.tgz

    3.mv scala-2.11.12 /usr/local/
    2.输入
    gedit /etc/profile.d/scala.sh
    3.添加这个后保存退出
    export SCALA_HOME=/usr/local/scala-2.11.12
    export PATH=$PATH:$SCALA_HOME/bin
    4.输入
    source /etc/profile.d/scala.sh
    scala -version(查看版本)出现版本信息即可

    也可以直接输入Scala命令 然后运算1+1 得出2即可
     
  • 相关阅读:
    汇编中push寄存器的影响
    windows lsp 指导
    java匹配中文汉字的正则表达式
    php中preg_match用户名正则实例
    Javascript中while和do-while循环用法详解
    如何找出MySQL数据库中的低效SQL语句
    asp.net连接oracle的问题及方法总结
    asp.net运算符之逻辑运算符以及其他运算符
    用命令行将Java程序打包为jar文件
    php 中cookie和session的用法比较
  • 原文地址:https://www.cnblogs.com/zzstdruan1707-4/p/12250362.html
Copyright © 2011-2022 走看看