zoukankan      html  css  js  c++  java
  • DorisDB升级为StarRocks,全面开源!

    今天被朋友圈刷屏了,StarRocks开源——携手未来,星辰大海!

    原文链接:StarRocks开源——携手未来,星辰大海!

    可能大家对StarRocks不太熟悉,但是DorisDB想必都是听说过的。

    在过去相当长的一段时间,对于ClickHouse 与 DorisDB的性能之争一直经久不息。

    对于实时OLAP引擎的选择,Doris也越来越多并企业所应用。

    DorisDB是一款纯国产的高性能的, 分布式关系型列式数据库。

    DorisDB脱胎于百度广告业务的实时分析场景, 于2018贡献给Apache开源社区, 之后在美团, 小米, 字节跳动, 京东等互联网企业被适用于核心业务实时数据分析。

    DorisDB致力于满足企业用户的多种数据分析场景. 支持多种数据模型(明细表, 聚合表), 多种导入方式(批量, 可整合和接入多种现有系统(Spark, Flink, Hive, ElasticSearch)。

    DorisDB特性
    DorisDB的架构设计融合了MPP数据库,以及分布式系统的设计思想,具有以下特性:

    架构简单
    DorisDB集群的正常运行不需要依赖任何其他系统, 易部署, 易维护. 极简的架构设计, 降低了DorisDB系统的复杂度和维护成本, 同时也提升了系统的可靠性和扩展性。管理员只需要专注于DorisDB系统,无需学习和管理任何其他外部系统。

    分布式架构
    DorisDB采用分布式架构,存储容量和计算能力可近似线性水平扩展。DorisDB集群的规模可扩展到数百节点,支持的数据规模可达到10PB级别。元数据和数据管理采用热备保证高可用, 能够自愈, 服务和数据安全可靠。

    自治系统,管理简单
    DorisDB是一个自治的系统。节点的上下线,集群扩缩容都可通过一条简单的SQL命令来完成; 在此操作期间, DorisDB后台自动完成数据rebalance; 用户的查询和数据导入操作可同时正常运行。

    另外DorisDB表模式热变更,可通过一条简单SQL命令动态地修改表的定义, 例如增加列、减少列、新建物化视图等。同时,处于模式变更中的表也可也正常导入和查询数据。

    标准SQL
    DorisDB支持标准的SQL语法,包括聚合,JOIN,排序,窗口函数,自定义函数等功能,用户可以通过标准的SQL对数据进行灵活的分析运算。 此外,DorisDB还兼容MySQL协议语法,可使用现有的各种客户端工具、BI软件访问DorisDB, 对DorisDB中的数据进行拖拽式分析。

    MPP(Massively Parallel Processing)执行框架
    DorisDB内部通过MPP计算框架完成SQL的具体执行工作。MPP框架本身能够充分的利用多节点、多CPU, 多核的算力,充分地将整个查询并行执行, 从而实现很好的交互式分析体验. DorisDB能够支持亚秒级查询,并且查询QPS可达10000以上。

    流批导入
    DorisDB支持实时和批量两种数据导入方式, 支持的数据源有Kafka, HDFS, 本地文件. 支持的数据格式有ORC, Parquet和CSV等. DorisDB可以实时消费Kafka数据来完成数据导入,保证数据不丢不重(exactly once)。DorisDB也可以从本地或者远程(HDFS)批量导入数据。

    高可用
    DorisDB的元数据和数据都是多副本存储,并且集群中服务有热备, 多实例部署,避免了单点故障。集群具有自愈能力, 可弹性恢复. 节点的宕机、下线、异常都不会影响DorisDB集群服务的整体稳定性。

    DorisDB可以满足企业级用户的多种分析需求,包括OLAP多维分析,定制报表,实时数据分析,Ad-hoc数据分析等。

    在企业对于大数据分析面临的越来越多的问题情况下。

    DorisDB升级为StarRocks,并全面开源(Github搜索“StarRocks”)

    Github:https://github.com/StarRocks/starrocks

    另外,官方下载地址与文档,请关注下面的地址。

    1.18.2社区版下载地址:
    Https://www.dorisdb.com/zh-cn/download/request-download/1

    发行说明:
    Https://forum.dorisdb.com/t/topic/391

    文档地址:
    Http://docs.dorisdb.com/

    POC测试指南:
    Https://www.bilibili.com/video/BV1SX4y1c7i4?share_source=copy_web

    测试FAQ:https://docs.dorisdb.com/zh-cn/main/quick_start/Test_faq

    也希望大家为国产开源软件贡献一份自己的力量。

    获取更多StarRocks资料,欢迎关注 大数据流动 回复 “StarRocks”

    大数据流动 专注于大数据实时计算,数据治理,数据可视化等技术分享与实践。 请在后台回复关键字下载相关资料。相关学习交流群已经成立,欢迎加入~
  • 相关阅读:
    【python-leetcode295-双堆】数据流的中位数
    python数组二分查找算法bisect
    python堆队列算法heapq
    python中的容器序列类型collections
    step(iter)、epoch、batch size之间的关系
    【python-leetcode437-树的深度遍历】路径总和Ⅲ
    Java 代码实现POST/GET请求
    .NET 按格式导出txt
    java fastjson解析json字符串
    Java 对象转XML xStream 别名的使用 附下载方式
  • 原文地址:https://www.cnblogs.com/tree1123/p/15242535.html
Copyright © 2011-2022 走看看