zoukankan      html  css  js  c++  java
  • 混合 Data Warehouse 和 Big Data 倉庫的新架構

    (讀書筆記)
    許多公司,儘管想導入 Big Data,仍必須繼續用 Data Warehouse 來管理結構化的營運數據、系統記錄。而 Big Data 的出現,為 Data Warehouse 提供了一個互補的機會,而不是取代後者。

    高度結構化的營運資料 (data,數據),仍然可保留在 Data Warehouse 中;而分散式 (distributed) 的資料,以及會即時改變的資料,則可交由基於 Hadoop 的架構來控制。


    圖 1 傳統的 Data Warehouse 和 Data Mart 架構


    圖 2 混合 Data Warehouse 和 Big Data 倉庫的新架構


    一間公司的客戶、潛在使用者,在網路上和實體上的互動,這些大量產生的數據,傳統的 Data Warehouse 僅能跟蹤交易及營運數據,但卻不能跟蹤網路流量及相關資訊。為了儘可能多保留這些數據,與其建立一個 Data Warehouse 來儲存所有數據,不如用 Hadoop 分散式計算的方式,將數據存放在公司的伺服器上。這樣,公司就能將所有來自「網頁互動」的數據保存下來了。這些數據儲存在運行著 Hadoop 和 MapReduce 的伺服器叢集 (cluster) 中,配合使用 Flume 和 Sqoop 之類的工具,公司的資訊團隊,就能夠將數據從 Hadoop 裡遷移出來,匯入關聯式模型及資料庫中,讓大家用熟悉的傳統 SQL 工具來查詢。

    這樣公司就能在發現某些客戶群,希望獲得某些新型態服務時,快速地轉變服務和產品。公司 (線上旅遊網站) 還能夠預測一些趨勢,像是如何適時地調整機票的價格。這些數據中,有一部分仍保留在 Hadoop 環境中,並能保持幾乎「即時」的更新;另有一些數據,經過處理後,已被轉移到了 Data Warehouse 中,這樣他們就可用於和歷史數據進行比對。既有的 Data Warehouse 繼續提供公司業務需要的內容,Hadoop 環境則可以跟蹤每分鐘都發生了什麼事。這種將系統記錄與 Data Warehouse 整合的動態大數據系統,能為公司提供巨大的商機,讓公司能在網路世界中,把即時產生的大量數據、分析結果,應用到公司的業務上。


    ----------------------------------------------
    以上節錄自 Big Data For Dummies 簡體中譯本
    Ch11, 設備和大數據倉庫

    該書 260頁,圖多,內容偏重講原理、技術簡介、和企業既有應用的整合,幾乎沒程式碼 (適合老闆和主管看)

    写给大家看的大数据(簡體中譯本):
    http://www.m.sanmin.com.tw/Product/Index/004706578
    ISBN13:9787115356130
    ISBN: 9781118504222

  • 相关阅读:
    python-创建一个登录判断的函数
    python-创建一个本地txt文本
    python-简单函数小例子 单位转换
    微信小程序性能测试之jmeter踩坑记录(四)
    手动添加Keil的固件包Packs
    使用Socket的简单Web服务器
    网络端口(port)
    Redis 5种主要数据类型和命令
    c# 索引器方法
    .net 获取类型的Type类型的几种方法
  • 原文地址:https://www.cnblogs.com/WizardWu/p/5176827.html
Copyright © 2011-2022 走看看