Hive基础(1)
Hive的HQL(2)
1. Hive并不是分布式的，它独立于机器之外，类似于Hadoop的客户端。
2. 元数据和数据的区别，前者如表名、列名、字段名等。
3. Hive的三种安装方式
- 内嵌模式，元数据服务和Hive服务运行在同一个JVM中，同时使用内嵌的Derby数据库作为元数据存储，该模式只能支持同时最多一个用户打开Hive会话。
- 本地模式，元数据服务和Hive服务运行在同一个JVM中，采用了外置的MySQL作为元数据存储，该种方式支持多个用户同时访问Hive。
- 远程模式，元数据服务和Hive服务运行在不同的进程内，这样做的好处是，数据库层可以完全地置于防火墙之后，客户端则不需要数据库验证。
- 推荐，生产环境中，使用本地模式、远程模式。
4. Hive不支持行级别的更新、插入或者删除操作，并且不支持事物。Hive不能做OLTP的“联机”部分，所以对Hive更适合离线计算，对于实时性要求很高的可以选择HBase或者Impala。
5. Hive和关系型数据库的区别
| compare | Hive | RMDBS |
|---|---|---|
| 查询语言 | HQL | SQL |
| 数据存储位置 | HDFS | Raw Device或者Local FS |
| 数据格式 | 用户定义 | 系统决定 |
| 数据更新 | 不支持 | 支持 |
| 索引 | 无 | 有 |
| 执行 | MapReduce | Executor |
| 执行延迟 | 高 | 低 |
| 可扩展性 | 高 | 低 |
| 数据规模 | 大 | 小 |
6. Hive的数据类型与存储格式
- 数据类型
- 基本数据类型：整型、浮点型、布尔型等
- 复杂数据类型（集合）：STRUCT、MAP、ARRAY
- 存储格式
- TEXTFILE(default)
- 不压缩、磁盘开销大、数据解析开销大
- SEQUENCEFILE
- 使用方便、可分割、可压缩、按行切分
- RCFILE
- 行列存储相结合，首先，将数据按行分块，保证同一条记录在一个块上，避免读一条记录需要读取多个块。其次，块上的数据按照列式存储，有利于数据压缩和快速地进行行列存取，也就是“先按水平划分再按垂直划分”
- 自定义
- 用户可通过实现InputFormat和OutputFormat来自定义输入输出格式。