zoukankan      html  css  js  c++  java
  • Hive记录-impala常用命令

    1.impala是什么

    Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。


    2.impala优点
    Impala不需要把中间结果写入磁盘,省掉了大量的I/O开销。
    省掉了MapReduce作业启动的开销。MapReduce启动task的速度很慢(默认每个心跳间隔是3秒钟),Impala直接通过相应的服务进程来进行作业调度,速度快了很多。
    Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式,而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶,因此可做更多的查询优化,从而省掉不必要的shuffle、sort等开销。
    通过使用LLVM来统一编译运行时代码,避免了为支持通用编译而带来的不必要开销。
    用C++实现,做了很多有针对性的硬件优化,例如使用SSE指令。
    使用了支持Data locality的I/O调度机制,尽可能地将数据和计算分配在同一台机器上进行,减少了网络开销。


    3.impala shell常用命令

    1)impala-shell -h帮助

    2)connect 192.168.66.66 连接服务器

    3)show tables查看表

    4)create database test;

    5)其他SQL与hive类似;

    6)支持shell操作

    7)Impala使用SQL作为其查询语言,为了保护用户在技能开发和查询设计方面的投资,Impala提供了与Hive查询语言(HiveQL)的高度兼容性:

    a.因为Impala使用与Hive相同的元数据存储来记录有关表结构和属性的信息,Impala可以访问通过本机Impala CREATE TABLE命令定义的表,或使用Hive数据定义语言(DDL)创建的表。
    b.Impala支持类似于HiveQL的DML组件的数据操作(DML)语句。
    c.Impala提供了许多内置函数,其名称和参数类型与其HiveQL等同。
    8)Impala支持大多数与HiveQL相同的语句和子句,包括但不限于FROM子句中的:
    JOIN,AGGREGATE,DISTINCT,UNION ALL,ORDER BY,LIMIT和(不相关)子查询
     备注:Impala也支持INSERT INTO和INSERT OVERWRITE
    9)Impala支持与Hive数据类型具有相同名称和语义的数据类型:STRING,TINYINT,SMALLINT,INT,BIGINT,FLOAT,DOUBLE,BOOLEAN,STRING,TIMESTAMP


    详细请参考https://www.cloudera.com/documentation/enterprise/latest/topics/impala.html

  • 相关阅读:
    tcp/ip协议listen函数中backlog參数的含义
    oracle exp实例
    js21---单体(单例)模式
    js20---接口3种方式
    js19--继承终极版本
    js18--继承方式
    js17---创建对象:构造函数式和原型组合模式、动态原型模式、稳妥构造函数式
    js16--自定义原型对象
    js---15,模拟数组的ecah方法
    js14--原型2
  • 原文地址:https://www.cnblogs.com/xinfang520/p/7684579.html
Copyright © 2011-2022 走看看