引言
数据平台目前通过Hive SQL的方式提供数据分析服务,系统使用多台HiveServer(JDBCServer)接收客户端连接请求,实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap过高,需要重启HiveServer来缓解问题,但在某些任务比较集中的时间段往往会导致大量任务执行失败(我们配备了相应的任务重试机制,但也会带来一定的影响)。
在与运维同学的流通过程中,偶然提到是否可能某台HiveServer接收的连接请求过多,执行过程中负担过重引起的(暂不考虑其它可能因素),引出如下思考:
(1)目前平台内置两种HiveServer选择算法:随机选择器(通过随机数对HiveServer数目取余)、哈希选择器(通过UUID的哈希值对HiveServer数目取余),目前采用随机选择器;
(2)目前平台两个模块需要与HiveServer频繁交互:作业管理、数据查询,随着业务发展还会有其它逐步衍生其它模块;
问题:随机(哈希)选择算法仅仅考虑单个模块内连接的均衡,而且没有考虑HiveServer正在执行的语句条数(表示繁忙程度,粒度比较粗),在这样的场景下确实可能会出现某台HiveServer在特殊时段内负担相对较重。
思路
当需要与HiveServer建立连接时,应该有一个接口能够给出当前所有HiveServer各自的工作负载情况(根据当前正在执行的SQL语句条数判断),选择工作负载最低的HiveServer进行连接。
因为一次连接存在期间,可以执行多条SQL语句,而且多个模块的存在,在每个模块内置入代码是非常不方便的,因此考虑在HiveServer内部实现。
实现
要给出当前所有HiveServer各自的工作负载情况,就需要有数据源提供当前所有HiveServer各自正在执行哪些SQL语句(条数),因此HiveServer在执行语句之前、之后需要能够给出相应通知,并持久化到数据源,依据该数据源中的实时数据,即可计算工作负载。
假设数据源为MySQL,我们至少需要这样的一张表:
server | HiveServer名称,同一台机器可以开启多个HiveServer实例 |
hook | PRE_EXEC_HOOK、POST_EXEC_HOOK,分别表示语句执行开始之前、执行线束之后 |
queryId | HiveServer内部语句唯一ID |
queryStr | 具体执行语句,可根据语句复杂度计算工作负载 |
jobName | 平台自己设置,我们仅仅考虑会转化为MR任务的语句,jobName即为MR JobName |
preTime | 语句执行之前的时间戳 |
postTime | 语句执行之后的时间戳 |
问题:HiveServer如何在执行语句之前、之后发出相应的通知?
我们使用Hive Hook机制,需要实出接口ExecuteWithHookContext,核心代码如下:
QueryPlan queryPlan = hookContext.getQueryPlan(); HiveConf conf = hookContext.getConf(); String queryId = queryPlan.getQueryId(); if (StringUtils.isEmpty(queryId)) { LOGGER.warn("queryId is null or empty, return"); return; } LOGGER.info("queryId: " + queryId); String queryStr = URLEncoder.encode(queryPlan.getQueryStr(), CharEncoding.UTF_8); if (StringUtils.isEmpty(queryStr)) { LOGGER.warn("queryStr is null or empty, return"); return; } LOGGER.info("queryStr: " + queryStr); String jobName = conf.getVar(HiveConf.ConfVars.HADOOPJOBNAME); LOGGER.info("jobName: " + jobName); if (StringUtils.isEmpty(jobName)) { LOGGER.warn("jobName is null or empty, return"); return; } String server = conf.get("hiveserver.execute.hook.server"); if (StringUtils.isEmpty(server)) { LOGGER.warn("server is null or empty, return"); return; } LOGGER.info("server: " + server); String rest = conf.get("hiveserver.execute.hook.rest"); LOGGER.info("rest: " + rest); if (StringUtils.isEmpty(rest)) { LOGGER.warn("rest is null or empty, return"); return; } Map<String, String> params = new HashMap<String, String>(); params.put("server", server); params.put("hook", hookContext.getHookType().toString()); params.put("queryId", queryId); params.put("queryStr", queryStr); params.put("jobName", jobName); params.put("timestamp", String.valueOf(DatetimeUtil.now())); try { HttpClientUtil.doPost(rest, params); } catch (Exception e) { LOGGER.error("do post error: " + ExceptionUtils.getFullStackTrace(e)); }
可以看出,该Hook同时可以用于PreHook与PostHook,而且为了保持代码的“轻量级”,并没有直接进行数据的持久化,而是通过Rest API交由外部模块处理。
此外需要在hive-site.xml文件中进行相应的设置,如下:
![](https://images0.cnblogs.com/blog/121862/201502/051747389067663.png)
![](file:///C:/Users/yurun/AppData/Local/Temp/enhtmlclip/Image(45).png)
启动HiveServer时,需要指定该实例的名称与具体的Rest API地址,如下:
hive --service hiveserver --hiveconf hiveserver.execute.hook.server=localhost:10000 --hiveconf hiveserver.execute.hook.rest=http://localhost:8088/rest/hiveserver/send
总结
通过以上的机制可以获取到所有(指定)HiveServer当前(时段内)正在执行的语句条数(如果只有PreTime值,而PostTime值为Null,则表示该条语句正在执行),依此可以计算各自的工作负载,从而选取工作负载最小的HiveServer进行连接。
后期进一步优化时还可以充分利用JobName,平台每次执行查询任务时均会设置mapred.job.name属性,用以统计一次查询(可以有多条SQL语句)所处理的数据量、消耗的时间等信息,可以利用这些历史数据信息,用于估计当前正在执行的SQL语句的可能消耗时间,进行优化工作负载的计算。