zoukankan      html  css  js  c++  java
  • IDEA的Maxcomputer Studio开发

    一、安装

      在IDEA中File > Settings > Plugins中Browse repositories搜索安装即可:MaxCompute Studio

    二、开发UDF、UDAF、UDTF

      //开发SQL脚本等暂不赘述,推荐DataWorks

      1.创建module(project)

        file->new->project,类型选择Maxcomputer java

         

      项目建成后目录简要说明:

        1.src:源码

        2.example:示例,可参考

        3.warehouse:本地运行时存放示例数据等

      2.开发调试UDF/UDTF/UDAF

        maven的依赖等由插件完成,直接在src->main->java中新建,new->maxcomputer java,kind选择对应的UDF类型即可!

        

      3.调试UDF/UDTF/UDAF

        测试数据在warehouse中,其中schema存放元数据,data存放数据,例如:

        

        数据:

        

        注意:

    warehouse目录下依次是项目名,tables,表名,表schema和sample data。
    schema文件依次配置项目名,表名,以及列名和类型(冒号分隔),分区表还需配置分区列(非分区表参考wc_in1,分区表参考wc_in2)。
    data文件采用标准csv格式存储表的sample数据:
    特殊字符为逗号,双引号和换行(
    或
    )
    列分隔符为逗号,行分隔符为
    或
    
    如果列内容里包含特殊字符,需要在该列内容前后加上双引号,例如:3,No -> “3, No”
    如果列内容包含双引号,则每个双引号转义成两个双引号,例如:a”b”c -> “a””b””c”
    N表示该列为null,如果该列内容(string 类型)就是N,需要转换为 “””N”””
    文件字符编码为UTF-8

      运行设置:

        右击UDF类,单击运行,弹出run configuration对话框,设置输入表与字段等

        

      #注意:

        插件会有本身的很多测试代码,直接打包可能会报错,我们可以直接在terminal运行跳过测试的打包命令:

    1. mvn clean 清理上次生成的
    
    2. mvn package -Dmaven.test.skip=true

      #python版本敬请期待!

  • 相关阅读:
    售后返修管理软件流程设计图
    Easyui datagrid加载数据时默认全选的问题
    如何做好售后管理之售后返修品管理
    您需要售后返修管理软件的N个理由
    使用软件量化考核售后维修人员业绩?
    如何使用NET Reactor为您的.Net(C#,VB.Net) 源代码加密!
    VS.Net开发必备,让您的代码自动收缩,如何实现!
    vs生成dll,却没有生成相应的lib
    c++、webServices、gsoap、tinyxml、iconv
    gsoap、c++。webservice的client。
  • 原文地址:https://www.cnblogs.com/jiangbei/p/10100785.html
Copyright © 2011-2022 走看看