zoukankan      html  css  js  c++  java
  • [Hadoop大数据]——Hive初识

    Hive出现的背景

    Hadoop提供了大数据的通用解决方案,比如存储提供了Hdfs,计算提供了MapReduce思想。但是想要写出MapReduce算法还是比较繁琐的,对于开发者来说,需要了解底层的hadoop api。如果不是开发者想要使用mapreduce就会很困难....

    另一方面,大部分的开发者都有使用SQL的经验。SQL成为开发者必备的技能...

    那么可以不可以使用SQL来完成MapReduce的过程呢?—— 答案就是,Hive

    Hive能够解决的问题

    Hive可以帮助开发者从现有的数据基础架构转移到Hadoop上,而这个基础架构是基于传统关系型数据库和SQL的。Hive提供了Hive查询语言,即HQL,它可以使用SQL方言查询存储在hadoop中的数据。

    执行原理

    Hive本身不会生成java的mapreduce程序,而是通过XML文件 驱动执行内置的、原生的Mapper和Reducer。

    Hive的缺点

    • 1 不支持记录级别的更新、插入或者删除
    • 2 查询延迟比较严重
    • 3 不支持事务

    如果想要基于SQL还想具有上面的特性,可以直接使用hadoop提供的nosql数据库——HBase

    适合的场景

    Hive适合做 数据仓库 应用程序,可以维护海量数据,对数据进行挖掘,形成意见和报表。

    其他

    同类型的工具就是Pig

    暂时的疑问!!

    1 HQL是如何变成MapReduce算法的?

    2 平时HQL都是怎么使用的?——最佳实践

    Hive中的数据类型与文件格式

  • 相关阅读:
    AUTOSAR-文档中所使用的UML文件
    开心一下-实现基于Java一个中文编程语言
    HDU 1026 Ignatius and the Princess I
    HDU 2553 (状压) N皇后问题 (2)
    UVa 11825 (状压DP) Hackers' Crackdown
    UVa 10891 (博弈+DP) Game of Sum
    LA 2965 Jurassic Remains
    HDU 2126 (背包方法数) Buy the souvenirs
    POJ 3984 迷宫问题
    POJ 3287 (基础BFS) Catch That Cow
  • 原文地址:https://www.cnblogs.com/xing901022/p/5767834.html
Copyright © 2011-2022 走看看