zoukankan      html  css  js  c++  java
  • 安装Spark时遇见的坑

    在安装独立部署模式中遇见的坑:

    步骤一:

      解压安装:tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录  #最好是从根目录跟踪

    步骤二:

      改文件名并修改配置文件:

      注意:这里slaves中当时我的里面有一个localhost 没有注释,所以导致了Master节点出现了两个Worker,一定要注释 或者 删除

    # 首先将slaves.template 和 spark-env.sh.template 改名字
    mv slaves.template slaves
    mv spark-env.sh.template spark-env.sh
    
    # 修改slaves 添加你的节点名
    #localhost # 一定要保证这里注释 或者 删除 hadp01 hadp02 hadp03 # 修改 spark
    -env.sh 添加Java环境 设置主节点名 端口号 export JAVA_HOME=/opt/module/jdk # 你的JAVA_HOME SPARK_MASTER_HOST=hadp01 # 这里的hadp01是我的节点一的hostname SPARK_MASTER_PORT=7077 # spark 端口号

    我搜索了一下解决方法,里面有一个在 spark/sbin/spark-config.sh 中添加Java的环境

    但是这里跟两个Worker没有直接的关系,不属于这里的坑,所以我就不赘述了

    步骤三:

      分发到其他节点:

    [root@hadp01 spark]# xsync spark/  # xsync 是集群间的分发文件脚本,详细内容参见本人的HDFS学习之路

    步骤四:

      启动:

    # 注意:没有配置环境变量,只能在Spark路径下来启动
    [root@hadp01 spark]# sbin/start-all.sh

  • 相关阅读:
    1988-B. 有序集合
    1987-A. 集训队选拔
    1964-NP
    1963-带妹子去看电影
    1962-Fibonacci
    1961-计算机基础知识大赛 2 (new)
    TCP/IP协议详解 卷一:协议 18章、TCP连接的建立与终止
    3、剑指offer--从尾到头打印链表
    2、剑指offer--替换空格
    1、剑指offer--二维数组中查找
  • 原文地址:https://www.cnblogs.com/joey-413/p/14051809.html
Copyright © 2011-2022 走看看