zoukankan      html  css  js  c++  java
  • 安装spark单机环境

    (假定已经装好的hadoop,不管你装没装好,反正我是装好了)

    1 下载spark安装包 http://spark.apache.org/downloads.html 

    下载spark-1.6.1-bin-without-hadoop.tgz 

    2 将spark包解压到自己指定目录

    然后在spark中指定hadoop jar包的路径

    先执行 hadoop classpath把输出内容记下来

    在spark conf路径下新建spark-env.sh

    然后输入以下内容:(注意:::::::把hadoop classpath 替换为刚才命令的输出内容)

    ### in conf/spark-env.sh ###
    
    # If 'hadoop' binary is on your PATH
    export SPARK_DIST_CLASSPATH=$(hadoop classpath)
    
    # With explicit path to 'hadoop' binary
    export SPARK_DIST_CLASSPATH=$(/path/to/hadoop/bin/hadoop classpath)
    
    # Passing a Hadoop configuration directory
    export SPARK_DIST_CLASSPATH=$(hadoop --config /path/to/configs classpath)



    3 然后你就可以执行pyspark之类的进入命令行了
  • 相关阅读:
    自控力和专注力是执行力的保证
    今宵又除夕
    买了小米盒子三代
    电容相位滞后?电感超前
    lcr电桥浅谈
    ad 线束和网络
    浅谈 R_S触发器
    NTSC PAL 介绍
    verilog 之流水灯
    io 口方向调整 stm32
  • 原文地址:https://www.cnblogs.com/earendil/p/5582951.html
Copyright © 2011-2022 走看看