zoukankan      html  css  js  c++  java
  • Flink基础

    什么是flink

    Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。

    为什么选择Flink

    1.流数据更改真实的反应了我们的生活方式

    2.传统的数据架构是基于有限的数据集的

    3.我们的目标

    》低延迟

    》高吞吐

    》结果的准确性和良好容错性

    那些行业需要处理流数据

    电商和市场营销(数据报表、广告投放、业务流程需要)

    物联网IOT(传感器实时采集和显示、实时警报、交通运输业)

    电信业(基站流量调配)

    银行和金融业(实时结算和通知推送、实时监测异常行为)

    Flink主要特点

    • 事件驱动(event-driven)

    •  基于流的世界观

    在flink的世界观中,一切都是由流组成的,离线数据是有界的流,实时数据是无界的流,这就是有界流和无界流

    •  分层API

    越顶层的越抽象,表达含义越简明,使用越方便

    越底层的越具体,表达能力越丰富,使用越灵活

    • 支持事件时间和处理时间

    • 精确一次的状态一致性保证

    • 低延迟,每秒处理数百万时间,毫秒级的响应

    • 与众多的常用存储系统连接

    • 高可用,动态扩展,实现7*24小时全天运行

     sparkStreaming VS  flink

    •  数据流和微批次

    •  数据模型

    spark采用RDD模型,sparkStreaming的DStream实际上是一组组小批微数据RDD的集合

    flink基本数据模型是数据流,以及事件序列

    • 运行时的架构

    spark是批计算,将DAG划分为不同的stage,一个完成后才可以计算下一个

    flink是标准的流执行模式,一个事件在一个节点处理完成可以直接发往下一个节点进行处理


     
     
     
     
     

  • 相关阅读:
    拖拽组件
    css3动画 巧用label
    轮播图
    弹出框组件,可拖拽
    基于angularJS的分页功能
    身份证验证大全-javascript
    公用拖拽功能插件
    记录那些年我踩过的坑
    节流函数
    手机号码的正则表达式
  • 原文地址:https://www.cnblogs.com/lmr7/p/15438139.html
Copyright © 2011-2022 走看看