zoukankan      html  css  js  c++  java
  • Hadoop课程-01

    课程目标

    1、能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理.

    2、熟练地在Hadoop和操作系统以及关系型数据库之间传递数据.

    3、能独立指定数据集成方案

    4、  

    Google的低成本之道

    1. 不使用超级计算机,不使用存储(淘宝的去i,去e,去o之路)
    2. 大量使用普通的PC服务器(去掉机箱、外设、硬盘),提供冗余的集群服务
    3. 全世界多个数据中心,有些附带发电厂
    4. 运营商向Google倒付费

    Google面对的数据和计算难题

    1. 大量的网页怎么存储
    2. 搜索算法
    3. Page-Rank计算问题

    Google带给我们的关键技术和思想

    1. GFS
    2. Map-Reduce
    3. Bigtable

    Hadoop体系下的分析手段

    1. 主流:Java程序
    2. 轻量级的脚本语言:Pig
    3. SQL技巧平稳过度:Hive
    4. NoSQL:HBase

    推荐书籍

    Hadoop分布式实战

  • 相关阅读:
    这几天都是在公司慢待
    电脑没有关机可能出现发博文dns异常(write)
    DOS/VBS
    SourceInsight
    CevaEclipse
    C/C++
    Matlab
    Matlab
    C语言
    Matlab
  • 原文地址:https://www.cnblogs.com/arcer/p/5677022.html
Copyright © 2011-2022 走看看