zoukankan      html  css  js  c++  java
  • Spark --jars 依赖包的优先级顺序

    Spark 依赖包来源
    我们知道Spark application运行加载依赖有三个地方:

    SystemClasspath -- Spark安装时候提供的依赖包
    Spark-submit --jars 提交的依赖包
    Spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包
     

    Spark 依赖包优先级
    三者的优先级顺序是怎样的呢?

    我通过测试发现优先级如下:

    1. spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包

    2. SystemClasspath -- Spark安装时候提供的依赖包

    3. spark-submit --jars 提交的依赖包

    三者用途:
    spark.{driver/executor}.extraClassPath 优先级最高,一般有相同jar但是版本不同,需要解决冲突时使用;

    SystemClasspath 系统安装的包,默认优先使用环境的包,这样更加稳定安全。

    spark-submit --jars 在默认spark环境里没有需要的包时,自己上传提供。

     

    总结:
    A)在我们提交一个spark2 程序时,系统没有的包--jars 提交;

    B)在我们需要和系统中已有的包的不同版本时,使用spark.{driver/executor}.extraClassPath来指定。

  • 相关阅读:
    Winform DataGridView单元格的提示信息
    Winform DataGridView添加列头checkbox
    C#解析Json
    Winform 下拉框绑定问题
    Excel数据复制到Winform控件ListView
    ListView 复制到剪切板
    C#定时器
    Winform程序只允许运行一个程序实例
    集合
    java中的锁
  • 原文地址:https://www.cnblogs.com/itboys/p/12124515.html
Copyright © 2011-2022 走看看