zoukankan      html  css  js  c++  java
  • 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第七门课程:云计算分布式大数据Hive数据仓库最佳实践

    一:课程简介:

        或许Hive会是数据仓库的终结者……

         作为企业Hadoop应用的核心产品,Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计,很多企业里的离线统计甚至全由Hive完成.

        Hive可以让你轻松的在Hadoop中存储、查询和分析海量数据。

    二:课程特色

    1,      深入浅出中动手实作;

    2,      对Hive深入浅出的剖析;

    3,      掌握Hive的优化技术;

    4,      Hive和亚马逊云计算

     

     

    三:适合对象:

       软件工程师;

        数据库开发人员;

        网络后台开发人员;

        运维人员;

    四:基础要求

       了解Linux系统;

        了解网络;

        了解Java;

    五:讲师简介

    王家林:

    Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引擎中的研发中国电信的多次Hadoop培训,花旗银行的Hadoop内训,金立手机的Hadoop内训等,著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等;

    Android架构师、高级工程师、咨询顾问、培训专家;     

    通晓Android、HTML5、Hadoop,迷恋英语播音和健美;

    致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案;

    国内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。

    HTML5技术领域的最早实践者(2009年)之一,成功为多个机构实现多款自定义HTML5浏览器,参与某知名的HTML5浏览器研发;

    超过10本的IT畅销书作者;

     

    六:培训内容

     

    时间

    内容

    备注

    第一天

    第1个主题:云计算的四大核心技术

    1. HDFS

    2. MapReduce

    3. HBase

    4.Hive

     

    第2个主题:Hive集群与管理

    1、 Hadoop集群的搭建
    2、 Hadoop集群的监控
    3、 Hadoop集群的管理
    4、 集群下运行MapReduce程序

    5、安装并启动Hive

    6、测试Hive

     

    第3主题:Hive的命令、数据类型和文件格式

    1. Hive的CLI

    2. Hive的集合数据类型

    3.编码和模式

     

    第4主题:开发Hive

    1. 连接Java调试器到Hive   

    2. 通过Eclipse来开发Hive代码

    3. Hive的单元测试

     

    第5题:HQL

    1. HQL的数据定义

    2. 使用HQL操作数据

    3. 深入HQL查询

     

    第6题:HQL的视图和索引

    1. HQL的视图:降低查询的复杂度和限定特定的条件

    2. HQL的索引:索引的创建和管理、定制索引

     

     

    时间

    内容

    备注

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    第二天

    第1个主题:Hive中的函数

    1. 使用Hive中已有的函数

    2. 自定义聚合函数

    3. 自定义表生成函数

    4. 在自定义函数中访问缓存

     

    第2个主题:Hive的存储过程

    1、为何需要Hive中的存储过程

    2、 在后台中运行的存储过程

    3、HiveStorageHandler

    4、 存储过程的具体编写和使用

     

    第3个主题:Hive架构优化

    1、 降低IO负载

    2、 表的分区、动态分区

    3、 压缩

    4、分布式缓存

     

    第4个主题:彻底优化HQL

    1、 HQL优化的具体策略和方式

    2、 Map和Reduce

    3、数据倾斜

    4,执行计划

     

    第5个主题:在AWS上使用Hive

    1. 使用并管理EMR Hive集群

    2. EMR集群的详细配置

    3.持久层、元数据

    4.集群中的HDFS和S3(配置、日志等)

     

    第6个主题:Hive的Thrift

    1. 配置、启动、使用Thrift

    2. Thrift的管理

    3. 管理Hive Server

    4.ThriftMetaStore

     

     

     

     

    east-tI�0-o��(p� fareast;mso-bidi-font-family: 宋体;color:green;letter-spacing:.2pt;mso-fareast-language:ZH-CN'>MongoDB的性能调优

     

    1. 性能调优的策略思考

    2.由查询和索引带来的新能调优

    3.内存在性能调优中的使用

    4.提升磁盘的性能

    5.扩展

     

     

     

  • 相关阅读:
    从YouTube改版看“移动优先”——8个移动优先网站设计案例赏析
    如何设计出正确的搜索模式?
    20个优秀手机界面扁平化设计,让你一秒看懂扁平化
    更巧妙的表单设计与登陆访问
    子树路径
    选拔赛-最短路
    hiho1050(树的直径)
    逆元
    hiho1303(模线性方程组)
    扩展欧几里德
  • 原文地址:https://www.cnblogs.com/wangjialin/p/3548733.html
Copyright © 2011-2022 走看看