zoukankan      html  css  js  c++  java
  • Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;

    运行spark 出现

      问题

    Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
    	at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
    	at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)
    	at org.apache.spark.network.client.TransportClientFactory.<init>(TransportClientFactory.java:109)
    	at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
    	at org.apache.spark.rpc.netty.NettyRpcEnv.<init>(NettyRpcEnv.scala:71)
    	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
    	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
    	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
    	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
    	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
    	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
    	at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:838)
    	at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:85)
    	at org.apache.spark.streaming.api.java.JavaStreamingContext.<init>(JavaStreamingContext.scala:138)
    

      查看 io.netty 的依赖树

      在项目的根目录在终端输入

    mvn dependency:tree -Dverbose> dependency.log
    

      生成文件 “dependency.log”,  点开如下

      

           搜索可以看到 hbase 和 spark 都有 io.netty

           可以看到 hbase 和 spark 的 io.netty 冲突

      给hbase 和 spark 的依赖都加上 exclusions 即框框里面的东西 

      并加上 netty 这个版本的依赖

      <dependency>
          <groupId>io.netty</groupId>
          <artifactId>netty-all</artifactId>
          <version>4.1.17.Final</version>
        </dependency>
    

      更新即可。

  • 相关阅读:
    C 运算符, 有符号数据运算,
    P1337 [JSOI2004]平衡点 / 吊打XXX 模拟退火
    [POI2011]Garbage 欧拉回路
    # bzoj2215: [Poi2011]Conspiracy 2-sat
    hdu1814 Peaceful Commission 2-sat
    2-sat相关复习
    #2718. 「NOI2018」归程 kruskal重构树
    JXOI2018守卫 区间DP
    [NOI1995]石子合并 四边形不等式优化
    3900: 交换茸角
  • 原文地址:https://www.cnblogs.com/Jomini/p/12384337.html
Copyright © 2011-2022 走看看