zoukankan      html  css  js  c++  java
  • Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;

    运行spark 出现

      问题

    Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
    	at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
    	at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)
    	at org.apache.spark.network.client.TransportClientFactory.<init>(TransportClientFactory.java:109)
    	at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
    	at org.apache.spark.rpc.netty.NettyRpcEnv.<init>(NettyRpcEnv.scala:71)
    	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
    	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
    	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
    	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
    	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
    	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
    	at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:838)
    	at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:85)
    	at org.apache.spark.streaming.api.java.JavaStreamingContext.<init>(JavaStreamingContext.scala:138)
    

      查看 io.netty 的依赖树

      在项目的根目录在终端输入

    mvn dependency:tree -Dverbose> dependency.log
    

      生成文件 “dependency.log”,  点开如下

      

           搜索可以看到 hbase 和 spark 都有 io.netty

           可以看到 hbase 和 spark 的 io.netty 冲突

      给hbase 和 spark 的依赖都加上 exclusions 即框框里面的东西 

      并加上 netty 这个版本的依赖

      <dependency>
          <groupId>io.netty</groupId>
          <artifactId>netty-all</artifactId>
          <version>4.1.17.Final</version>
        </dependency>
    

      更新即可。

  • 相关阅读:
    1.8其他命令
    1.7远程管理常用命令
    1.6.系统信息相关命令
    1.5linux用户权限相关命令
    python 进程创建和共享内容的方法
    python 操作数据库
    python 类方法中参数使用默认值的方法
    异常处理
    推导列表
    装饰器 装饰带参数的函数和添加函数
  • 原文地址:https://www.cnblogs.com/Jomini/p/12384337.html
Copyright © 2011-2022 走看看