zoukankan      html  css  js  c++  java
  • Impala官网翻译03-Impala服务器的组件

    Impala服务器的组件

    Impala服务器是一个分布式的大规模并行处理(MPP)数据库引擎。它由不同的守护进程组成,这些进程在集群内的特定主机上运行。

    Impala后台

    Impala的核心组件是Impala守护进程,物理上由impalad进程表示。Impala 守护进程执行的几个主要功能是。

    • 读取和写入数据文件
    • 接受来自impala-shell命令、Hue、JDBC或ODBC的查询。
    • 并行化查询并在集群中分配工作。
    • 将中间查询结果传回中央协调器。

    Impala 守护进程可以通过以下方式之一进行部署。

    • HDFS和Impala共处一地,每个Impala守护进程作为DataNode运行在同一主机上。
    • Impala单独部署在计算集群中,从HDFS、S3、ADLS等远程读取。

    Impala守护进程一直与StateStore保持通信,以确认哪些守护进程是健康的,可以接受新的工作。

    每当集群中的任何Impala守护进程创建、更改或丢弃任何类型的对象,或者通过Impala处理INSERT或LOAD DATA语句时,它们也会收到来自catalogd守护进程(Impala 1.2中引入)的广播消息。这种后台通信最大限度地减少了对REFRESH或INVALIDATE METADATA语句的需求,在Impala 1.2之前,协调Impala守护进程之间的元数据是需要这些语句的。

    在Impala 2.9和更高版本中,您可以控制哪些主机作为查询协调器,哪些主机作为查询执行器,以提高大型集群上高并发工作负载的可扩展性。详情请参见如何使用专用协调器配置Impala。

    Impala的状态存储

    被称为StateStore的Impala组件检查集群中所有Impala守护进程的健康状况,并不断将其发现传递给每个守护进程。它在物理上由一个名为stesttored的守护进程来表示。您只需要在集群中的一台主机上有这样一个进程。如果一个Impala守护进程由于硬件故障、网络错误、软件问题或其他原因而离线,StateStore会通知所有其他Impala守护进程,以便未来的查询可以避免向无法到达的Impala守护进程发出请求。

    因为StateStore的目的是在出错时提供帮助,并向协调器广播元数据,所以它并不总是对Impala集群的正常运行至关重要。如果StateStore没有运行或变得无法访问,Impala守护进程在处理Impala已知的数据时,会像往常一样继续运行并在彼此之间分配工作。如果其他Impala守护进程失败,集群只是变得不那么健壮,而且在StateStore离线时,元数据会随着变化而变得不那么一致。当StateStore重新上线时,它会重新建立与Impala守护进程的通信,并恢复其监控和广播功能。

    如果您在StateStore离线时发出DDL语句,访问DDL创建的新对象的查询将失败。

    负载均衡和高可用性的大多数考虑因素都适用于impalad daemon。statestored和catalogd守护进程对高可用性没有特殊要求,因为这些守护进程的问题不会导致数据丢失。如果这些守护进程由于特定主机上的故障而不可用,您可以停止Impala服务,删除Impala StateStore和Impala Catalog Server角色,在不同的主机上添加这些角色,然后重新启动Impala服务。

    Impala目录服务

    称为目录服务的Impala组件将Impala SQL语句中的元数据变化转发到集群中的所有Impala守护进程。它在物理上由一个名为 catalogd 的守护进程表示。您只需要在集群中的一台主机上有这样一个进程。因为请求是通过StateStore守护进程传递的,所以在同一台主机上运行stattored和catalogd服务是有意义的。

    目录服务避免了通过Impala发出的语句进行元数据更改时,需要发出refresh和invalidate METADATA语句。当你通过Hive创建表、加载数据等,在那里执行查询之前,确实需要在Impala守护进程上发出REFRESH或INVALIDATE METADATA。

    这个功能涉及到Impala的很多方面。

    • 有关 catalogd 守护进程的使用信息,请参见安装 Impala、升级 Impala 和启动 Impala。
    • 当通过Impala执行CREATE TABLE、INSERT或其他表更改或数据更改操作时,不需要REFRESH和INVALIDATE METADATA语句。如果这些操作是通过Hive或直接在HDFS中操作数据文件来完成的,仍然需要这些语句,但在这些情况下,这些语句只需要在一个Impala守护进程上发出,而不是在所有守护进程上发出。参见REFRESH语句和INVALIDATE METADATA语句,了解这些语句的最新使用信息。

    使用--load_catalog_in_background选项来控制何时加载表的元数据。

    • 如果设置为false,当表的元数据第一次被引用时就会被加载。这意味着特定查询的第一次运行可能会比后续运行慢。从Impala 2.2开始,--load_catalog_in_background的默认值为false。
    • 如果设置为true,即使没有查询需要元数据,目录服务也会尝试加载表的元数据。因此,当运行第一个需要元数据的查询时,元数据可能已经被加载。然而,出于以下原因,我们建议不要将该选项设置为true。

    后台加载会干扰特定查询的元数据加载。这可能会在启动时或在元数据失效后发生,持续时间取决于元数据的数量,并可能导致看似随机的长运行查询,难以诊断。
    Impala可能会加载可能从未使用过的表的元数据,可能会增加目录大小,从而增加目录服务和Impala Daemon的内存使用量。
    负载平衡和高可用性的大多数考虑因素都适用于impalad daemon。statestored和catalogd守护进程对高可用性没有特殊要求,因为这些守护进程的问题不会导致数据丢失。如果这些守护进程由于特定主机上的故障而不可用,您可以停止Impala服务,删除Impala StateStore和Impala Catalog Server角色,在不同的主机上添加这些角色,然后重新启动Impala服务。

    注意事项
    在Impala 1.2.4和更高版本中,您可以在Hive中创建表后,用INVALIDATE METADATA指定表名,允许您使各个表对Impala可见,而无需对目录元数据进行完整的重新加载。Impala 1.2.4还包括其他变化,使元数据广播机制更快、更灵敏,特别是在Impala启动期间。详情请参见Impala 1.2.4中的新功能。

  • 相关阅读:
    CSS Frameworks Collection(css框架收集)
    CSS:IE与Firefox的CSS兼容大全
    一般的 DIV + CSS 三栏式排版
    C#获取与修改HTML DOM元素信息
    101 LINQ Samples
    IE,Firefox,Chrome都可用的阴影效果
    QT中字符串编码的选用
    QT中字符串及其编码
    QT多项目编译顺序
    QT字符串编码知识汇编
  • 原文地址:https://www.cnblogs.com/lukairui/p/14376814.html
Copyright © 2011-2022 走看看