zoukankan      html  css  js  c++  java
  • Hadoop构建数据仓库实践读书笔记【1】

    数据仓库:面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理者的决策过程。

    数仓的好处:

    • 将多个数据源集成到单一数据存储,因此可以使用单一数据查询引擎展示数据。
    • 缓解在事务处理数据库上因执行大查询儿产生的资源竞争问题。
    • 维护历史数据。
    • 通过对多个源系统的数据整合,使得在整个企业的角度存在统一的中心视图。
    • 通过提供一致的编码和描述,减少或修正数据问题,提高数据质量。
    • 一致性地组织信息。
    • 提供所有数据的单一通用数据模型,而不用关心数据源。
    • 重构数据,使数据对业务用户更有意义。
    • 向复杂分析查询交付优秀的查询性能,同时不影响操作型系统。
    • 开发决策型查询更简单。

    个人使用的体验:能够在hive上多表连接查询(mysql上跨服务器),大量数据查询速度更快。可以做数据的union,去重和except。

    操作型系统和分析型系统

    操作型系统完成组织的核心业务,如下订单等,核心目标是尽可能快地处理事务,同事维护数据的一致性和完整性。操作型系统是一类专门用于管理面向事务的应用的信息系统。

      在数据库中使用事务主要出于两个目的:

    1. 保证工作单元的可靠性。当数据系统异常宕机时,其中执行的操作或者已经完成或者只有部分完成,很多没有完成的操作此时出于一种模糊状态。在这种情况下,数据系统必须能够恢复到数据一致的正常状态。
    2. 提供并发访问数据库的U盾哦个程序间的隔离。如果没有这种隔离,程序得到的结果很可能是错误的。    

    操作型系统的数据库常用的操作是增删改查,并且通常是插入与更新密型的,同时会对数据库进行大量并发查询,而删除操作相对较少。

    分析型 系统主要作用是通过数据分析评估组织的业务经营状况,并进一步辅助决策。

       分析型系统是一种快速回答多维分析查询的实现方式。它也是更广范畴的所谓商业智能的一部分(商业智能还包含数据库、报表系统、数据挖掘、数据可视化等研究方向)。典型应用包括销售业务分析报告、市场管理

    报告、业务过程管理(BPM)、预算和预测、金融分析报告及其类似的应用。

      分析型系统操作被定义为少量的事务,复杂的查询,处理归档和历史数据。这些数据很少被修改,从书籍抽取数据是最多的操作,也是是被这种系统的关键特征。分析型数据库基本上都是读操作。

    负重前行
  • 相关阅读:
    LeetCode OJ-- Count and Say
    3dContactPointAnnotationTool开发日志(二)
    如何将PDF的背景色设置为保护眼睛的苹果绿色
    3dContactPointAnnotationTool开发日志(一)
    随便测测
    360浏览器重新打开不小心关闭的网页
    Unity3d学习日记(四)
    Unity3d学习日记(三)
    Unity3d学习日记(二)
    新的目标ヾ(◍°∇°◍)ノ゙
  • 原文地址:https://www.cnblogs.com/astride/p/11164048.html
Copyright © 2011-2022 走看看