zoukankan      html  css  js  c++  java
  • Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;

    运行spark 出现

      问题

    Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
    	at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
    	at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)
    	at org.apache.spark.network.client.TransportClientFactory.<init>(TransportClientFactory.java:109)
    	at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
    	at org.apache.spark.rpc.netty.NettyRpcEnv.<init>(NettyRpcEnv.scala:71)
    	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
    	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
    	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
    	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
    	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
    	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
    	at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:838)
    	at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:85)
    	at org.apache.spark.streaming.api.java.JavaStreamingContext.<init>(JavaStreamingContext.scala:138)
    

      查看 io.netty 的依赖树

      在项目的根目录在终端输入

    mvn dependency:tree -Dverbose> dependency.log
    

      生成文件 “dependency.log”,  点开如下

      

           搜索可以看到 hbase 和 spark 都有 io.netty

           可以看到 hbase 和 spark 的 io.netty 冲突

      给hbase 和 spark 的依赖都加上 exclusions 即框框里面的东西 

      并加上 netty 这个版本的依赖

      <dependency>
          <groupId>io.netty</groupId>
          <artifactId>netty-all</artifactId>
          <version>4.1.17.Final</version>
        </dependency>
    

      更新即可。

  • 相关阅读:
    【Gamma】 Phylab 展示博客
    【技术博客】Postman接口测试教程
    【技术博客】利用Python将markdown文档转为html文档
    【技术博客】使用PhpStorm和Xdebug实现Laravel工程的远程开发及调试
    【技术博客】Laravel5.1文件上传单元测试
    【技术博客】移动端的点击事件与Sticky Hover问题
    【技术博客】 Laravel 5.1单元测试(PHPUnit)入门
    Scrum Meeting博客目录
    团队事后分析
    Gamma阶段测试报告
  • 原文地址:https://www.cnblogs.com/Jomini/p/12384337.html
Copyright © 2011-2022 走看看