zoukankan      html  css  js  c++  java
  • spark on centos6.5 安装

    第一步在centos 6.5上安装java 运行环境

    http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

    第二步安装hadoop,去

    http://hadoop.apache.org/上下一个

    http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

    解压缩即可

    第三步要装scala,去

    http://www.scala-lang.org/download/上下一个

    http://downloads.typesafe.com/scala/2.11.2/scala-2.11.2.rpm?_ga=1.193880237.1644075876.1409819439

    在centos上直接rpm安装即可

    第四步下载spark

    http://spark.apache.org/downloads.html

    根据自己的hadoop版本挑选一个预编译的spark,如(http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz),下完解压缩即可

    或者下源码包自己编译(http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2.tgz),自己编译maven可能被墙。

    如果第四步选的是源码包,那还有第五步编译

    即解压缩spark源码包以后,进入源代码目录执行sbt/sbt assembly,自己就会下载相应文件进行编译。

    最后一步执行spark目录下的bin/spark-shell

    在此之前记得打开hadoop的服务,不然在执行spark-shell的时候会报错

    spark java.net.UnknownHostException: spark: spark: Name or service not known

  • 相关阅读:
    BZOJ1029_建筑抢修_KEY
    黑匣子_KEY
    食物链_KEY
    滑雪_KEY
    抓猫_KEY
    线段树初步__ZERO__.
    听说alphago又要挑战sc2了?——我眼中的人工智能
    我眼中的算法
    opencv拼接相关1
    Cstring到string
  • 原文地址:https://www.cnblogs.com/sickboy/p/3958082.html
Copyright © 2011-2022 走看看