zoukankan      html  css  js  c++  java
  • 通过 --py-files 可以在pyspark中可以顺利导入

    文件import问题

    问题: 在脚本中import了其他文件, pyspark中可以运行, 但是在spark-submit中总是失败

    假定我们的任务脚本为 app.py , 大体代码像这样:

    from pyspark import SparkContext ## 加载通用脚本 import common # # ......... # if __name__ == "__main__": sc = SparkContext(appName="ACoolApp") # # run #

    公用函数的放到了 common.py 文件中. 通过 --py-files 可以在pyspark中可以顺利导入:

    # success pyspark --py-files lib/common.py > import common

    而使用spark-submit来提交 app.py 2881064151总是失败

    # import error spark-submit --py-files lib/common.py app.py

    找了好久的解决办法, 最后参考了 这里 . 简单来说, 所有的import操作必须在context完成之后. pyspark之所以不报错就是因为context已经初始化好了. 所以我们简单改下 app.py 中import的位置就可以了:

    if __name__ == "__main__": sc = SparkContext(appName="ACoolApp") import common

    数据保存至mysql

    问题: 将数据写入mysql

    这里不多说, 方法可以直接参考 这里 . 关键点有两个:

    引入mysql的jdbc jar包 设置好对应的的driver, 否则会报 park python java.sql.SQLException: No suitable driver 的错误

    直接来个代码片段:

    url = 'jdbc:mysql://%s/%s' % (db_host, db_name) properties = { 'user': db_username, 'password': db_password, 'driver': 'com.mysql.jdbc.Driver', } records.write.jdbc(url=url, table=db_table, mode='append', properties=properties)

    最后

  • 相关阅读:
    linux:centOs7换源阿里云
    nginx:负载均衡实战(一)
    linux-安装jdk以及tomcat
    nginx:在linux上进行nginx的安装
    开源 免费 java CMS
    使用PHP获取汉字的拼音(全部与首字母)
    php版获取重定向后地址的代码分享
    php获取数组中重复数据的两种方法
    php删除html标签的三种解决方法
    php curl 伪造IP来源的代码分享
  • 原文地址:https://www.cnblogs.com/cbryge/p/6189305.html
Copyright © 2011-2022 走看看