zoukankan      html  css  js  c++  java
  • Flink神秘工具lib

    Flink里面有一个神坑,叫做FI坑。其实只是使用Fi的时候被暴露出来。但是,杀不死你的,终将使你更加强大。

    Flink集群有一个lib文件件,里面比较happy,可以放各种jar;这样,client端在提交的时候就不需要把全jar打成一个肥肥,只需要增量的把包放到client端lib文件夹里面即可。

    这个其实是一个非常人性化的设置;但是,加入没有人告诉你Flink集群这种机制,你已提交全量包,发现各种冲突,各种函数找不到,是不是很懵逼?

    这个可能是二次封装友好性问题了。但是这里一个知识点:Flink集群以及client有一个lib的地方,可以放置jar包,集群的jar包是避免打包过大的优化处理;client端的lib是用来存放增量的jar包。

    另外如果你在不断的提交和修改client的jar包,那么可能会有缓存现象,这样你调整的结果并不会体现出来(只要jar包存在一次就会一直存在);直到你重启一个yarn的session才会重置client端提交的jar包。

    基本处理模式:如果已经添加了对应jar包,但是仍然报相同的类找不到,OK,重启yarn-session;报一些乱七八糟的错误,看不懂,没有头绪的异常,重启yarn-session;如果添加完了jar包,发现初始化错误(没有了ClassNotFound/Def),此时很可能是该jar包相关依赖需要添加。

    这里要说一下,eclipse里面解析maven的依赖树讲真给力。比如com/carrXXX/hppc/YYY找不到,我尝试搜一下carr结果自动跳出了hpcc的包,已经实现了深度搜索。

  • 相关阅读:
    【DL-2-2】卷积神经网络(CNN)--AlexNet、ZFNet、VGGNet、GoogleNet、ResNet
    Python3 错误和异常-(try/except/else/finally/raise/assert)
    生成器 Generators
    Map,Filter 和 Reduce
    装饰器
    目标检测:介绍及传统方法
    【ML-17-2】MCMC--马尔可夫蒙特卡罗方法(MH和Gibbs)
    如何在JDK1.8中愉快地处理日期和时间
    luogu1447 能量采集
    luogu1775 古代人的难题 打表找规律
  • 原文地址:https://www.cnblogs.com/xiashiwendao/p/10725890.html
Copyright © 2011-2022 走看看