zoukankan      html  css  js  c++  java
  • 安装Spark时遇见的坑

    在安装独立部署模式中遇见的坑:

    步骤一:

      解压安装:tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录  #最好是从根目录跟踪

    步骤二:

      改文件名并修改配置文件:

      注意:这里slaves中当时我的里面有一个localhost 没有注释,所以导致了Master节点出现了两个Worker,一定要注释 或者 删除

    # 首先将slaves.template 和 spark-env.sh.template 改名字
    mv slaves.template slaves
    mv spark-env.sh.template spark-env.sh
    
    # 修改slaves 添加你的节点名
    #localhost # 一定要保证这里注释 或者 删除 hadp01 hadp02 hadp03 # 修改 spark
    -env.sh 添加Java环境 设置主节点名 端口号 export JAVA_HOME=/opt/module/jdk # 你的JAVA_HOME SPARK_MASTER_HOST=hadp01 # 这里的hadp01是我的节点一的hostname SPARK_MASTER_PORT=7077 # spark 端口号

    我搜索了一下解决方法,里面有一个在 spark/sbin/spark-config.sh 中添加Java的环境

    但是这里跟两个Worker没有直接的关系,不属于这里的坑,所以我就不赘述了

    步骤三:

      分发到其他节点:

    [root@hadp01 spark]# xsync spark/  # xsync 是集群间的分发文件脚本,详细内容参见本人的HDFS学习之路

    步骤四:

      启动:

    # 注意:没有配置环境变量,只能在Spark路径下来启动
    [root@hadp01 spark]# sbin/start-all.sh

  • 相关阅读:
    VM 下增加磁盘空间
    在APACHE服务器上的访问方式上去除index.php
    1
    数组累加兼eval性能测试
    webstorm软件使用记录
    gulp配置安装使用
    jQuery方法笔记
    搭建Grunt集成环境开发SASS
    msysgit使用方法
    十诫在天主教和新教之间的差别
  • 原文地址:https://www.cnblogs.com/joey-413/p/14051809.html
Copyright © 2011-2022 走看看