zoukankan      html  css  js  c++  java
  • spark 多语言编程

    参考官方地址:https://spark.apache.org/docs/1.6.2/programming-guide.html

    误解: 

    spark多语言的支持,并不是说spark可以操作各个语言写的程序。而是各种语言可以使用spark提供的编程模型来开发spark程序,并连接spark集群来运行开发好的app

    我在pycharm新建了一个项目

    新建一个python文件

     

    加载失败了!!

     既然在软件加载失败了,我们就换种方法加载进去

    可以看到在centos下安装的/spark-1.6.1-bin-hadoop2.6下有我们需要的包

    下载好后就把Pycharm重新启动一下,不重启的话会不认你刚刚下载的包

    运行一下出错了!!!

    出现这个错误spark不支持python3.6,我就再安装了个python2.7的,那个pyspark包也拷过来

    再次运行程序

    报错了,可以看到少了py4j这个包

    再次添加包

     

     

    现在再次运行程序

    配置一下spark的环境变量

    成功了(在这里说明一下,我的spark安装在windows下面,昨晚这一步一直报错,今天早上开电脑跑了一下就成功了,具体原因我自己也不清楚)

  • 相关阅读:
    事务
    handler
    codeforces 27E Number With The Given Amount Of Divisors
    暑期实践日志(五)
    暑期实践日志(四)
    暑期实践日志(三)
    暑期实践日志(二)
    暑期实践日志(一)
    数论 UVALive 2756
    数论 UVALive 2911
  • 原文地址:https://www.cnblogs.com/braveym/p/7443224.html
Copyright © 2011-2022 走看看