zoukankan      html  css  js  c++  java
  • Spark运行在eclipse_使用PyDev和pyspark

    一直想在eclipse上编写Spark程序,但是仿佛是因为spark的安装包提供了
    PS D:softwarespark-1.6.1-bin-hadoop2.6> .inspark-submit .examplessrcmainpythonmlinarizer_example.py
    这样的运行方式,一直没想着去在eclipse上去运行,只是安装了一个PyDev去编写python写的程序

    但是今天看到了一个文献感觉这样是可行的
    https://enahwe.wordpress.com/category/spark/
    就按照文献的方式去配置了需要的东西
    主要的就是
    安装PyDev
    http://pydev.org/updates
    配置PyDev并添加Spark的支持库和环境变量

    但是总是出现:
    DLL load failed: %1 不是有效的 Win32 应用程序。
    这个错误,根据下面的文献:
    http://54im.com/python/python-importerror-dll-load-failed-1-%E4%B8%8D%E6%98%AF%E6%9C%89%E6%95%88%E7%9A%84-win32-%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F.html
    应该是因为安装的python是32位的原因

    卸载python32,安装了64的之后,就可以跑起来了

    要是有参数这样配,要是没参数直接右键运行python run即可

    关于PyDev创建python项目,目录结构比较简单,主要的就是Python的支持库,剩下的就是关联本地的源码文件了

    右边是第一个需要参数的wordcount.py运行的结果,其他的不需要参数的也可以运行成功。


    万事走心 精益求美


  • 相关阅读:
    python使用tcp实现一个简单的下载器
    python中的tcp
    python使用udp实现聊天器
    python网络编程-udp
    python中的eval函数
    python文件
    python模块和包
    python异常处理
    python面向对象学习(七)单例
    python面向对象学习(六)类属性、类方法、静态方法
  • 原文地址:https://www.cnblogs.com/kongchung/p/5626041.html
Copyright © 2011-2022 走看看