impala入门

一、概述

Impala 是参照google 的新三篇论文Dremel(大批量数据查询工具)的开源实现，功能类似shark（依赖于hive）和Drill（apache），impala 是clouder 公司主导开发并开源，基于
hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。是使用cdh 的首选PB 级大数据实时查询分析引擎。(也可以单独安装使用，但一般都是和CDH一起使用；)

参考：
https://www.cloudera.com/products/open-source/apache-hadoop/impala.html

http://impala.apache.org/

Impala可以直接在存储在HDFS，HBase或Amazon Simple Storage Service（S3）中的Apache Hadoop数据上提供快速，交互式的SQL查询。 除了使用相同的统一存储平台，
Impala和Apache Hive一样还使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。

Impala是用于查询大数据的工具的补充。 Impala不会替代基于MapReduce的批处理框架，如Hive。 基于MapReduce的Hive和其他框架最适用于长时间运行的批处理作业，
例如涉及批处理Extract，Transform和Load（ETL）类型作业的工作。

二、impala架构

Impala属于无主模型，没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和
Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

由于impala是基于hive的，impala表的元数据信息依然存储在Hive Metastore中；

Statestore Daemon：

该进程负责搜集集群中Impalad进程节点的健康状况，它通过创建多个线程来处理Impalad的注册订阅，并与各节点保持心跳连接，不断地将健康状况的结果转发给所有的
Impalad进程节点。一个Impala集群只需一个statestored进程节点，当某一节点不可用时，该进程负责将这一信息传递给所有的Impalad进程节点，再有新的查询时不会把请
求发送到不可用的Impalad节点上。

statestored也是允许挂掉的，不会影响集群运行，因为impalad节点之间也会保持通信，但是当statestored和某一部分impalad都挂掉了，就会出问题，因为没有了statestored，
而impalad节点之间并不能识别出是否有某些impalad挂了，依然会与挂掉的impalad通信，此时就会出问题；

Catalog Daemon：

把impala表的metadata分发到各个impalad 中，说他是基于hive 的，所以就需要metadata数据分到impalad 中，以前没有此进程，就是手动来进行同步的。虽然之后加入了，
但是也没有那么智能，并不是保证所有的数据都能同步，比如你插入一些数据，他可以把数据发到其他节点，但是比如创建表ddl 语句，建议去手动做一下。接收来自
statestore 的所有请求，当impala deamon节点插入或者查询数据时候(数据改变的时候)，他把自己的操作结果汇报给state deamon,然后state store 请求catelog deamon，告知重
新更新元数据信息给impalad 中，所以catalog deamon 与statedeamon 放到一台机器上，而且不建议在此机器上再去安装impala deamon 进程，避免造成提供查询造成集群管
理出问题；

Impala Daemon：

与DataNode运行在同一节点上，是Impala的核心组件，在每个节点上这个进程的名称为Impalad。该进程负责读写数据文件；接受来自Impala-shell、Hue、JDBC、ODBC等客
户端的查询请求（接收查询请求的Impalad为Coordinator），Coordinator通过JNI调用java前端解释SQL查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应
数据的其它节点分布式并行执行，并将各节点的查询结果返回给中心协调者节点Coordinator，再由该节点返回给客户端。同时Impalad会与State Store保持通信，以了解其
他节点的健康状况和负载。

Impalad 里面的三个组件：

impalad：
impala statestore 和catalog server两个角色，就具备集群调节的功能；
真正的工作就是在impalad节点上，客户端执行查询的时候可以选一个impalad节点来执行，此时这个节点的内存要配置大一些，因为最后要汇总查询结果；
当选定impalad节点后，此节点上的Query coordinato进程会进行协调，找到与此查询相关的数据块在哪些机器节点上，然后由每个节点的Query executor进程负责查询；
也可以写一个轮询或者权重算法，当有查询任务时，负载到一批impalad节点上，解决高并发问题；


Query planner（查询解析器）：
接收来自SQL APP和ODBC等的查询，然后将查询转换为许多子查询(执行计划)，相当于一个代理；

Query coordinator（中心协调节点）：
将这些子查询分发到各个节点上

Query executor（查询执行器）：
真正负责子查询的执行，然后返回子查询的结果，这些中间结果经过聚集之后最终返回给用户。

三、impala安装

安装就不说了，对于熟悉CDH的朋友来说，是很简单的，完全图形化操作；

一般有两种方式：

1、cloudermanager安装（建议）

方便、快捷

2、手动安装（不建议）

没试过，估计有坑

四、impala shell

外部shell：

外部shell也就是在Linux命令行里配合"impala-shell"命令使用的；

-h (--help） 帮助
-v (--version） 查询版本信息-V（--verbose） 启用详细输出
--quiet 关闭详细输出
-p 显示执行计划
-i hostname（--impalad=hostname） 指定连接主机 格式hostname:port 默认端口21000
-r（--refresh_after_connect）刷新所有元数据，全量刷新，不太建议使用，当数据量大的时候很慢，还可能导致某些节点出问题。
-q query（--query=query） 从命令行执行查询，不进入impala-shell
-d default_db（--database=default_db） 指定数据库
-B（--delimited）去格式化输出
    --output_delimiter=character 指定分隔符
    --print_header 打印列名
-f query_file（--query_file=query_file）执行查询文件，也就是执行SQL文件，文件内容以分号分隔
-o filename（--output_file filename） 结果输出到指定文件
-c 查询执行失败时继续执行，也就是跳过失败的sql语句
-k（--kerberos） 使用kerberos安全加密方式运行impala-shell
-l 启用LDAP认证
-u 启用LDAP时，指定用户名Impala Shell

内部shell：

内部sell，也就是使用“impala-shell”命令连接进impala后使用的；

help 帮助选项
connect <hostname:port> 连接到某个impalad 实例，默认端口21000 
refresh <tablename> 增量刷新元数据库 
invalidate metadata 全量刷新元数据库，性能消耗较大
explain <sql> 显示查询执行计划、步骤信息
set explain_level 设置显示级别（ 0,1,2,3），越高信息越详细
shell <shell> 不退出impala-shell执行Linux命令
    impala>shell ls /home
profile （查询完成后执行） 查询最近一次查询的底层信息

五、web监控

impala提供了StateStore和Catalog进程的web监控页面；

StateStore：

http://ip:25020

Catalog:

http://ip:25010