zoukankan      html  css  js  c++  java
  • Hue整合Sqoop报空指针异常的解决方法

    hue是一个Apache基金会下的一个开源图形化管理工具,使用python语言开发,使用的框架是Django。而sqoop也是Apache的一个开源工具,是使用Java语言开发,主要用于进行hdfs和传统关系型数据库之间的数据传递。这两天在整合这两个工具的时候,遇到了一个问题,特此记录。

    Hue版本是3.9.0,Sqoop版本是1.99.6,也就是最新版的Sqoop2。

    把Hue和Sqoop安装好后,修改Hue配置文件,hue-3.9.0/desktop/conf/hue.ini

    找到Sqoop的配置项:把sqoop的请求路径改成正式的URL。

    # Sqoop server URL
    server_url=http://ip:12000/sqoop
    

    启动Hue、Sqoop,在Hue的管理页面中,可以新建、修改Sqoop的链接。但是在新建Sqoop的任务却报了错。

    查看Sqoop的日志:sqoop-1.99.6-bin-hadoop200/server/logs/catalina.out

    发现报了空指针异常:

    java.lang.NullPointerException
            at org.apache.sqoop.json.util.ConfigInputSerialization.restoreConfig(ConfigInputSerialization.java:160)
            at org.apache.sqoop.json.util.ConfigInputSerialization.restoreConfigList(ConfigInputSerialization.java:129)
            at org.apache.sqoop.json.JobBean.restoreJob(JobBean.java:179)
            at org.apache.sqoop.json.JobBean.restore(JobBean.java:159)
            at org.apache.sqoop.handler.JobRequestHandler.createUpdateJob(JobRequestHandler.java:169)
            at org.apache.sqoop.handler.JobRequestHandler.handleEvent(JobRequestHandler.java:106)
     org.apache.sqoop.server.v1.JobServlet.handlePostRequest(JobServlet.java:91)
            at org.apache.sqoop.server.SqoopProtocolServlet.doPost(SqoopProtocolServlet.java:63)
            at javax.servlet.http.HttpServlet.service(HttpServlet.java:643)
            at javax.servlet.http.HttpServlet.service(HttpServlet.java:723)
            at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290)
            at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
            at org.apache.hadoop.security.authentication.server.Authentication
    

    找来Sqoop的源码,看到:

        for (int i = 0; i < inputs.size(); i++) {
          JSONObject input = (JSONObject) inputs.get(i);
          MInputType type = MInputType.valueOf((String) input.get(ConfigInputConstants.CONFIG_INPUT_TYPE));
          // 省略部分代码
          .......
          switch (type) {
          case STRING: {
            // 报错位置       
            long size = (Long) input.get(ConfigInputConstants.CONFIG_INPUT_SIZE);
            mInput = new MStringInput(name, sensitive.booleanValue(), editable, overrides, (short) size);
            break;
          }
        // 省略部分代码
        ........
    }
    

    ConfigInputConstants.CONFIG_INPUT_SIZE 是字符串常量“size”,看这个代码是在获取“size”的值的时候为空,null强转为Long类型的时候报错了。再根据报错信息往前看看JobBean类,这是在加载Hue传递过来的json数据,并设置到JobBean类中,下面是获取“from-config-values”的数据,也就是来源链接的相关信息了。

    .......
    static final String FROM_CONFIG_VALUES = "from-config-values";
    ......
    private MJob restoreJob(Object obj) {
    //省略部分代码
    ......
    JSONArray fromConfigJson = (JSONArray) object.get(FROM_CONFIG_VALUES);
    //省略部分代码
    ......
    // 报错点
    List<MConfig> fromConfig = restoreConfigList(fromConfigJson);
    
    //省略部分代码
    ......
    }
    

     从上面分析看来,是Hue传递过来的from链接配置项,即“from-config-values”项没有“size”字段或者获取到的数据为空造成这个错误的。

    而Sqoop关于这个接口的API:https://sqoop.apache.org/docs/1.99.3/RESTAPI.html#v1-job-post-create-job,给出的json格式是要求有“size”字段的。
    //省略部分
    ......    
    from-config-values: [
          {
            id: 2,
            inputs: [
              {
                id: 2,
                name: "fromJobConfig.inputDirectory",
                value: "hdfs%3A%2F%2Fvbsqoop-1.ent.cloudera.com%3A8020%2Fuser%2Froot%2Fjob1",
                type: "STRING",
                size: 255,
                sensitive: false
              }
            ],
            name: "fromJobConfig",
            type: "JOB"
          }
        ],
    //省略部分
    ......    
    

     来分析Hue是怎么使用这个接口的:hue-3.9.0/apps/sqoop/src/sqoop/api/job.py

     

    @never_cache
    def create_job(request):
    # 省略部分代码
    ...... d = json.loads(smart_str(request.POST['job'])) job = client.Job.from_dict(d) try: c = client.SqoopClient(conf.SERVER_URL.get(), request.user.username, request.LANGUAGE_CODE) response['job'] = c.create_job(job).to_dict() except RestException, e: response.update(handle_rest_exception(e, _('Could not create job.'))) except SqoopException, e: response['status'] = 100 response['errors'] = e.to_dict() return JsonResponse(response)

    最后看到了Hue对size进行了过滤处理:hue-3.9.0/apps/sqoop/src/sqoop/client/config.py

      def to_dict(self):
        d = {
          'id': self.id,
          'type': self.type,
          'name': self.name,
          'sensitive': self.sensitive,
        }
        if self.value:
          d['value'] = self.value
        if self.size != -1:
          d['size'] = self.size
        if self.values:
          d['values'] = ','.join(self.values)
        return d
    

    Hue把size=-1的情况全部设置成空,然后Sqoop获取不到size的值,报了一个NullPointerException。

    解决方法:修改config.py的to_dict方法,把size的过滤操作去掉就好了,如下:

      def to_dict(self):
        d = {
          'id': self.id,
          'type': self.type,
          'name': self.name,
          'sensitive': self.sensitive,
        }
        if self.value:
          d['value'] = self.value
        d['size'] = self.size
        if self.values:
          d['values'] = ','.join(self.values)
        return d
    

    如果这里把size设置成一个常量,那么可能会造成一个org.apache.sqoop.server.common.ServerError错误,其实就是Sqoop根据Hue传递过来的参数获取到的来源链接、目的链接

    或者是驱动配置跟Sqoop的不一致造成的。

  • 相关阅读:
    Coursera Algorithm II PA2 Q2
    Coursera Algorithm Part II PA2
    实现 memcpy 函数
    超人
    Proxy 模式
    【6】锋利的 jQuery 笔记
    【3】Chrome 的一些常用操作
    HTML 待解决与已解决问题
    CSS 待解决问题
    JS 一些常用技巧
  • 原文地址:https://www.cnblogs.com/fillPv/p/5458677.html
Copyright © 2011-2022 走看看