zoukankan      html  css  js  c++  java
  • 大数据学习总结(8)大数据场景

    大数据场景一、各种标签查询

    查询要素:人、事、物、单位

    查询范围:A范围、B范围、...

    查询结果:pic、name、data from

    1、痛点:对所有文本皆有实时查询需求
    2、难点:传统SQL使用WHERE子句匹配LIKE关键词,在庞大的数据字段中搜索某些想要的字,需遍历所有数据页或者索引页,查询效率底,当出现千万级以上数据时,耗时较高,无法满足实时要求
    3、方案:使用全文检索方案,分布式架构,即使PB级量级也可做到毫秒级查询

    大数据场景二、客户事件查询

    查询条件:
    城市、区域、时间跨度(20170301 00:00-20170311 00:00)数据来源:旅店 or
    城市、区域、时间跨度(20170301 00:00-20170311 00:00)数据来源:旅店

    查询结果:
    身份证号、姓名、年龄、民族、性别、籍贯、标签、轨迹(A地||B地||C地)

    1、痛点:通过多表碰撞,获得某几个维度的深度分析结果
    2、难点:传统方式按照一定条件对两表进行交叉查询,一旦到达十万级,即达到百亿级查询量,无法达到准实时级
    3、方案: 大数据二级索引建模和Impala大数据组件

    大数据场景三、每日工作简报

    A1 今天客户(累计、首次、其他)、今年客户(累计、活动)、

         今天客户、from detail、to detail

    A2 今日客车(累计、活动)、

    A3 重点关注信息

    B1 事件(编号、时间、描述、参与者、审批人)

    B2 客户累计、同比、环比,客户分布,重点关注

    1、痛点:重点分析,每日预警报告,实时应对
    2、难点:传统方式数据库之间大表直接执行多表联查效率较低,数据分析难度较大
    3、方案:使用大数据NoSql数据库,二级索引建模分析技术

    大数据场景四、可视化分析展现

    不同场景客户(客户、wb、路口)的可视化分析(正常、预警和高精)

    1、痛点:实时数据展示,可以一目了然观察各类数据、分析各个维度发展趋势
    2、难点:传统技术实时Count,资源消耗重,且当数据量较大时,延迟较大,聚合查询耗时严重
    3、方案:大数据Nosql数据库、流式计算以及消息中间件,对历史数据深度分析,实时数据毫秒级处理

    大数据场景五、云服务设施利用率监控

    全公司:物理服务器数量、云服务器数量、利用率

    分公司:服务器、cpu、内存分布

    1、痛点:实时监控系统内所有硬件设备的使用情况
    2、难点:设备较多,参数复杂,实时监控难度大
    3、方案:大数据存储架构与NoSql数据库、离线计算结合

    1、痛点:数据质量参次不齐,只能在入库后才知质量情况
    2、难点:传统技术无法实时监控数据质量情况
    3、方案:使用流式计算技术,实时监控入库数据质量,智能纠错报警,后续可做深度分析

    1、痛点:服务运行状态无法掌控,日志数据无法有效利用
    2、难点:日志一般为非结构化数据,分析难度较大
    3、方案:使用大数据技术,将非结构化日志数据实时入库转化为结构数据,进行深度分析并实时监控

  • 相关阅读:
    Android Studio使用教程
    http://www.android-doc.com/#/295
    JDK,JRE,JVM区别与联系(ZZ)
    eclipse下载
    mac下android环境搭建笔记(android studio)
    android环境配置
    JDK、JRE、JVM三者间的关系
    实体类作用、封装与面向对象思想
    领域模型中的实体类分为四种类型:VO、DTO、DO、PO
    [架构设计] 组件和模块的区别
  • 原文地址:https://www.cnblogs.com/lexiaofei/p/6675113.html
Copyright © 2011-2022 走看看