zoukankan      html  css  js  c++  java
  • IDEA with MaxCompute Stadio

    MaxCompute Studio是阿里云MaxCompute(原ODPS)平台提供的安装在开发者客户端的大数据集成开发环境(IDE)工具,是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,帮助用户方便地进行数据开发。ODPS客户端是一个命令行工具,通过它可以访问MaxCompute的各项功能。

    开发环境配置

    1)安装JDK,IDEA

    2)安装ODPS命令行工具

    官网下载:http://repo.aliyun.com/odpscmd/

    下载后解压到不带空格目录,否则报错,建议解压到根目录,如:D:odpscmd_public,解压后由四个文件夹:

     bin/  conf/  lib/  plugins/

    配置conf文件夹下odps_config.ini文件:

     project_name=
     access_id=<accessid>
     access_key=<accesskey>
     end_point=http://sg-service-maxcompute.aliyun.com/api

    获取ID、KEY:用户详情,其中的access_id和access_key为www.aliyun.com上申请的access_id和access_key

    链接信息:项目管理->数据源配置(endpoint、项目名称)

    3)安装MaxCompute Studio插件

    官方文档:https://help.aliyun.com/document_detail/50892.html

    可以在IDEA在线安装插件,网络不好可下载插件安装,插件地址:https://plugins.jetbrains.com/plugin/9193-maxcompute-studio

    4)创建MaxCompute Studio项目

    在Settings中MaxCompute Studio项设置local meta store location,存储本地元数据信息。

    官方文档:https://help.aliyun.com/document_detail/50855.html

    创建连接:

     直接使用刚才配置的odps_config.ini文件,自动填充信息。

    5)调试开发

    到此为止环境搭建完成,可以使用ODPS套件开发项目,常用参考文档:

    开发调试UDF:https://help.aliyun.com/document_detail/50902.html
    开发调试MR:https://help.aliyun.com/document_detail/50903.html
    打包/上传/注册/调用:https://help.aliyun.com/document_detail/50904.html

    Tips:

    开发SQL脚本,表必须先创建再操作,否则报错‘xxxxx cannot be resolved’.

    ~完~

  • 相关阅读:
    bzoj1711: [Usaco2007 Open]Dining吃饭
    bzoj1036: [ZJOI2008]树的统计Count
    bzoj1497: [NOI2006]最大获利
    bzoj2561: 最小生成树
    BZOJ 2083: [Poi2010]Intelligence test( )
    BZOJ 2212: [Poi2011]Tree Rotations( 线段树 )
    BZOJ 1110: [POI2007]砝码Odw( 贪心 )
    BZOJ 3163: [Heoi2013]Eden的新背包问题( 背包dp )
    BZOJ 1537: [POI2005]Aut- The Bus(dp + BIT)
    BZOJ 2875: [Noi2012]随机数生成器( 矩阵快速幂 )
  • 原文地址:https://www.cnblogs.com/fuos/p/7487327.html
Copyright © 2011-2022 走看看