zoukankan      html  css  js  c++  java
  • 最近研究学习的开源项目


    # 1 Weedfs
    weed-fs,全名Seaweed-fs,是一种用golang实现的简单且高可用的分布式文件系统。该系统的目标有二:

    - 存储billions of files
    - serve the files fast

    weed-fs起初是为了搞一个基于Fackbook的Haystack论文的实现,Haystack旨在优化Fackbook内部图片存储和获取。
    后在这个基 础上,weed-fs作者又增加了若干feature,形成了目前的weed-fs。
    Weed-FS 是一个简单和高可伸缩的分布式文件系统,用于快速存储大量的文件。Weed-FS 不支持 POSIX 文件系统,使用 key~file 映射结果,因此也叫 NoFS。

    * 首页 github.com/chrislusf/seaweedfs

    分布式存储 WeedFS 源码分析
    http://www.qixing318.com/article/853901115.html

    # 2 protobuffer
    Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

    http://www.cnblogs.com/stephen-liu74/archive/2013/01/02/2841485.html

    Google Protocol Buffer 的使用和原理
    https://www.ibm.com/developerworks/cn/linux/l-cn-gpb/index.html

    # 3 ngrok
    Tunnel Server 提供P2P的NAT穿透 https://github.com/inconshreveable/ngrok

    # 4 leveldb


    # 5 KiteQ
    基于go+protobuff实现的多种持久化方案的mq框架
    https://github.com/blackbeans/kiteq

    * 基于zk/etcd维护发送方、订阅方、broker订阅发送关系、支持水平、垂直方面的扩展
    * 基于与topic以及第二级messageType订阅消息
    * 基于mysql、文件存储方式多重持久层消息存储
    * 保证可靠异步投递
    * 支持两阶段提交分布式事务
    * 自定义group内的Topic级别的流控措施,保护订阅方安全
    * kiteserver的流量保护
    * 客户端连接上报系统预热时间,根据预热时间逐步放量推送消息
    * Client Supported:Java、Go、CPP、PHP

  • 相关阅读:
    poj 2312 Battle City
    poj 2002 Squares
    poj 3641 Pseudoprime numbers
    poj 3580 SuperMemo
    poj 3281 Dining
    poj 3259 Wormholes
    poj 3080 Blue Jeans
    poj 3070 Fibonacci
    poj 2887 Big String
    poj 2631 Roads in the North
  • 原文地址:https://www.cnblogs.com/hetonghai/p/6759549.html
Copyright © 2011-2022 走看看