zoukankan      html  css  js  c++  java
  • Windows下单机安装Spark开发环境

    机器:windows 10 64位。

    因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。

    1、Java下Spark开发环境搭建

    1.1、jdk安装

    安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:Program FilesJavajdk1.7.0_79”,视自己安装路劲而定。

    同时在系统变量Path下添加C:Program FilesJavajdk1.7.0_79in和C:Program FilesJavajre7in。

    1.2 spark环境变量配置

    去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6

    解压下载的文件,假设解压 目录为:D:spark-1.6.0-bin-hadoop2.6。将D:spark-1.6.0-bin-hadoop2.6in添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:spark-1.6.0-bin-hadoop2.6

    1.3 hadoop工具包安装

    spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行,但是这里还是把hadoop相关库也配置好吧。

    1.3.1 去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/,我下载的是hadoop-2.6.0.tar.gz

    1.3.2 解压下载的文件夹,将相关库添加到系统Path变量中:D:hadoop-2.6.0in;同时新建HADOOP_HOME变量,变量值为:D:hadoop-2.6.0

    1.4 eclipse环境

    直接新建java工程,将D:spark-1.6.0-bin-hadoop2.6lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。

    2、Python下Spark开发环境搭建

    2.1 安装python,并添加到系统变量path中:C:Python27和C:Python27Scripts

    2.2 重复1.2和1.3步骤

    2.3 将spark目录下的pyspark文件夹(D:spark-1.6.0-bin-hadoop2.6pythonpyspark)复制到python安装目录C:Python27Libsite-packages里

    2.4 在cmd命令行下运行pyspark,然后运行pip install py4j安装相关库。

    2.5 安装pycharm开始编程吧。

     推荐一个自己业余时间开发的网盘搜索引擎,360盘搜www.360panso.com

  • 相关阅读:
    问答
    正在设计taijilang的解析器,真可谓尸横遍地
    因为这些理由而坚持用grunt?其实它们都不成立。
    开始设计taijijs
    从grunt转到gulp
    google 索引
    :: operator
    用coffeescript写构造函数
    jade与angular.js
    angular.js 资料收集
  • 原文地址:https://www.cnblogs.com/eczhou/p/5216918.html
Copyright © 2011-2022 走看看