zoukankan      html  css  js  c++  java
  • Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;

    运行spark 出现

      问题

    Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
    	at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
    	at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)
    	at org.apache.spark.network.client.TransportClientFactory.<init>(TransportClientFactory.java:109)
    	at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
    	at org.apache.spark.rpc.netty.NettyRpcEnv.<init>(NettyRpcEnv.scala:71)
    	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
    	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
    	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
    	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
    	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
    	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
    	at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:838)
    	at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:85)
    	at org.apache.spark.streaming.api.java.JavaStreamingContext.<init>(JavaStreamingContext.scala:138)
    

      查看 io.netty 的依赖树

      在项目的根目录在终端输入

    mvn dependency:tree -Dverbose> dependency.log
    

      生成文件 “dependency.log”,  点开如下

      

           搜索可以看到 hbase 和 spark 都有 io.netty

           可以看到 hbase 和 spark 的 io.netty 冲突

      给hbase 和 spark 的依赖都加上 exclusions 即框框里面的东西 

      并加上 netty 这个版本的依赖

      <dependency>
          <groupId>io.netty</groupId>
          <artifactId>netty-all</artifactId>
          <version>4.1.17.Final</version>
        </dependency>
    

      更新即可。

  • 相关阅读:
    SpringSource发布Spring Data Redis 1.0.0
    C#实现的GDI+时钟
    敏捷团队应对打扰的七种方法
    JBoss发布Hibernate 4.0
    在 IE10 的 XHR 的麦子
    Spring AMQP 1.0 GA发布了
    对 64 个以上逻辑处理器使用任务管理器
    预览Visual Studio11: 敏捷的支持、团队协作以及代码克隆监测
    在 Windows 8 中支持传感器
    HTTP API可演进性最佳实践
  • 原文地址:https://www.cnblogs.com/Jomini/p/12384337.html
Copyright © 2011-2022 走看看