zoukankan      html  css  js  c++  java
  • Spark Netty与Jetty (源码阅读十一)

      spark呢,对Netty API又做了一层封装,那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架,具体不再说了,下面开始。

      创建了一个线程工厂,生成的线程都给定一个前缀名。

      

      像一般的netty框架一样,创建Netty的EventLoopGroup:

      

      在常用的netty框架中呢,会创建客户端辅助类,设置SocketChannel:

      Bootstrap b = new Bootstrap();
      b.group(group).channel(NioSocketChannel.class)

      spark中呢 根据参数IOMode,返回正确的客户端SocketChannel:

        返回正确的服务端socketChannel:

      

      返回远端的Channel地址:

      

      创建一个ByteBuf对本地线程缓存禁用的分配器。ByteBuf是由事件循环线程分配,所以线程本地缓存对于TransportClient是禁用的,ByteBuf释放是由Executor线程,不是事件循环线程完成。本地线程缓存经常会延迟ByteBuf的回收,导致巨大的内存消耗。

      

      Spark这个禽兽,对Jetty也进行了封装,什么是Jetty呢,它是以java作为开发语言的servlet容器,它的API以一组jar包的形式发布,提供网络和web服务.在我理解,Netty是用socket~Jetty呢 就是Http~那么下来,我们看一下JettyUtils:

      

      createServlet,生成HttpServlet匿名内部类,此Responder类型发生隐式转换,转换为用户传入的函数参数。

      要为Jetty创建servlet,就涉及ServletContextHandler的API的使用,生成ServletContextHandler:

      

      创建给定路径为前缀的请求的响应处理,将SparkUI中的全部handler加入ContextHandlerCollection.,如果使用配置spark.ui.filters指定了filter,则给所有handler添加filter.然后调用startServiceOnPort,最终回调函数connect:

      

  • 相关阅读:
    查windows系统开关机记录
    HDU-6278-Jsut$h$-index(主席树)
    POJ-2104-Kth Number(主席树)
    HDU-6546-Function(贪心)
    POJ-1523-SPF(求割点)
    POJ-2762-Going from u to v or from v to u(强连通, 拓扑排序)
    POJ-2552-The Bottom of a Graph 强连通分量
    POJ-1659-Frogs' Neighborhood
    POJ-1904-King‘s Quest
    POJ-1236-Network of Schools
  • 原文地址:https://www.cnblogs.com/yangsy0915/p/6147826.html
Copyright © 2011-2022 走看看