zoukankan      html  css  js  c++  java
  • Spark --jars 依赖包的优先级顺序

    Spark 依赖包来源
    我们知道Spark application运行加载依赖有三个地方:

    SystemClasspath -- Spark安装时候提供的依赖包
    Spark-submit --jars 提交的依赖包
    Spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包
     

    Spark 依赖包优先级
    三者的优先级顺序是怎样的呢?

    我通过测试发现优先级如下:

    1. spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包

    2. SystemClasspath -- Spark安装时候提供的依赖包

    3. spark-submit --jars 提交的依赖包

    三者用途:
    spark.{driver/executor}.extraClassPath 优先级最高,一般有相同jar但是版本不同,需要解决冲突时使用;

    SystemClasspath 系统安装的包,默认优先使用环境的包,这样更加稳定安全。

    spark-submit --jars 在默认spark环境里没有需要的包时,自己上传提供。

     

    总结:
    A)在我们提交一个spark2 程序时,系统没有的包--jars 提交;

    B)在我们需要和系统中已有的包的不同版本时,使用spark.{driver/executor}.extraClassPath来指定。

  • 相关阅读:
    leetcode
    leetcode
    [Cocos2d-x + c++]Tableview使用总结
    Windows上安装huginn
    移动端性能测试工具PerfDog
    Centos7配置静态IP地址
    Loadrunner11录制手机APP脚本
    使用VirtualDub数视频时间
    Maven Windows安装和配置
    JMeter安装和配置
  • 原文地址:https://www.cnblogs.com/itboys/p/12124515.html
Copyright © 2011-2022 走看看