zoukankan      html  css  js  c++  java
  • 我在Github上的flare-spark项目

    Flare-Spark 介绍

    我在自己的github上建了个flare-spark项目,本身是Apache Spark项目Master分支的镜像。在Spark的基础上,添加了flare子项目。

    估计大多数修改都会增量加入到flare子项目里,尽量不改变Spark本身的代码。

    新增的代码都会在线下机器上编译、执行成功之后再提交上来。

    对于flare-spark项目的维护和新增逻辑例如以下图:

    新的代码在线下编译測试通过之后,提向develop分支,再以PR的形式merge到master主干。
    同一时候不定时从Apache Spark 的Master分支merge新的PR,pull的目标是暂时分支,待合进master后再删除branch。


    New Feature

    眼下的flare项目里添加了ORCFile的读取,代码方面添加了OrcfileRDD和一个FlareContext。ORCFile能够提供列裁剪和适当的过滤谓词下推。

    眼下对于flare-spark项目的畅想,主要在Pig on Spark这个思路上。

    有什么问题和建议能够直接与我联系,欢迎交流、沟通  :)


    全文完  :)
  • 相关阅读:
    Python经典算法-快速幂
    HTML/CSS代码片段
    JavaScript代码片段
    全选、全不选、反选
    NodeJS入门
    Ajax入门
    伪协议触发onbeforeunload
    CSS优先级、引入方式、Hack
    iframe的操作
    四:JAVA 消息队列(blockingqueue)的应用
  • 原文地址:https://www.cnblogs.com/mfrbuaa/p/4391060.html
Copyright © 2011-2022 走看看