zoukankan      html  css  js  c++  java
  • python导外部包

    win7+python2.7下安装spark

    最近在学习Spark,由于我的Python是在windows下安装的,好多库也已经配置好,所以需要将spark安装在windows环境下,下面是安装过程:

    下载spark和对应版本的hadoop编译包

    可以从http://spark.apache.org/downloads.html上下载对应的版本,我用的版本是spark-1.2.0-bin-hadoop2.4.tgz和Hadoop-2.4.0.tar.gz 
    下载完两个压缩文件后,分别解压。我分别解压到D:spark-1.2.0-bin-hadoop2.4和D:hadoop-2.4.0 
    同时还要下载安装Java虚拟机

    配置环境

    spark环境变量配置

    将D:spark1.2.0binhadoop2.4in添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:spark1.2.0binhadoop2.4

    hadoop环境变量配置

    将D:hadoop2.4.0in添加到系统Path变量;同时新建HADOOP_HOME变量,变量值为:D:hadoop2.4.0

    python配置

    将spark目录下的pyspark文件夹(D:spark1.2.0binhadoop2.4pythonpyspark)复制到python安装目录C:Python27Libsitepackages里 
    在cmd命令行下运行cd C:Python27Scripts(我的python安装在C盘,这里是切换到pip的安装目录下,然后才能执行pip,没有装pip的需要预先安装),然后运行pip install py4j安装相关库。 
    最后,在命令行窗口执行pyspark看看效果: 
    这里写图片描述 
    好了,然后就可以使用spark了。

  • 相关阅读:
    Linq
    正则表达式
    XPath
    winFrom http协议
    CSS选择器
    Action方法
    Code First开发方式
    Database First开发方式
    可选参数,程序暂停,属性的初始化,String.Format改进
    Lambda表达式和LTNQ
  • 原文地址:https://www.cnblogs.com/to-creat/p/6641454.html
Copyright © 2011-2022 走看看