zoukankan      html  css  js  c++  java
  • IDEA with MaxCompute Stadio

    MaxCompute Studio是阿里云MaxCompute(原ODPS)平台提供的安装在开发者客户端的大数据集成开发环境(IDE)工具,是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,帮助用户方便地进行数据开发。ODPS客户端是一个命令行工具,通过它可以访问MaxCompute的各项功能。

    开发环境配置

    1)安装JDK,IDEA

    2)安装ODPS命令行工具

    官网下载:http://repo.aliyun.com/odpscmd/

    下载后解压到不带空格目录,否则报错,建议解压到根目录,如:D:odpscmd_public,解压后由四个文件夹:

     bin/  conf/  lib/  plugins/

    配置conf文件夹下odps_config.ini文件:

     project_name=
     access_id=<accessid>
     access_key=<accesskey>
     end_point=http://sg-service-maxcompute.aliyun.com/api

    获取ID、KEY:用户详情,其中的access_id和access_key为www.aliyun.com上申请的access_id和access_key

    链接信息:项目管理->数据源配置(endpoint、项目名称)

    3)安装MaxCompute Studio插件

    官方文档:https://help.aliyun.com/document_detail/50892.html

    可以在IDEA在线安装插件,网络不好可下载插件安装,插件地址:https://plugins.jetbrains.com/plugin/9193-maxcompute-studio

    4)创建MaxCompute Studio项目

    在Settings中MaxCompute Studio项设置local meta store location,存储本地元数据信息。

    官方文档:https://help.aliyun.com/document_detail/50855.html

    创建连接:

     直接使用刚才配置的odps_config.ini文件,自动填充信息。

    5)调试开发

    到此为止环境搭建完成,可以使用ODPS套件开发项目,常用参考文档:

    开发调试UDF:https://help.aliyun.com/document_detail/50902.html
    开发调试MR:https://help.aliyun.com/document_detail/50903.html
    打包/上传/注册/调用:https://help.aliyun.com/document_detail/50904.html

    Tips:

    开发SQL脚本,表必须先创建再操作,否则报错‘xxxxx cannot be resolved’.

    ~完~

  • 相关阅读:
    AngularJS7那些不得不说的事故
    Python和C++的混合编程(使用Boost编写Python的扩展包)
    为OPENCV添加freetype支持并显示中文字符(在mac上编译opencv及contrib库)
    OpenProject基础使用介绍
    负载均衡
    如何搭建wordpress ,wecenter
    nginx 模块
    Nginx
    http 协议
    ssh
  • 原文地址:https://www.cnblogs.com/fuos/p/7487327.html
Copyright © 2011-2022 走看看