zoukankan      html  css  js  c++  java
  • 这样才能正确解锁MaxCompute客户端

    大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。MaxCompute的开发工具有三种方法,本文介绍MaxCompute客户端的安装、配置、测试方法以及可能遇见的问题。odpscmd是MaxCompute基础客户端,可以通过它访问MaxCompute的项目空间并使用各项功能。

    安装步骤:

    第一步:下载安装JDK(1.7或以上版本)
    因为odpscmd是基于JAVA开发的,所以需配置JAVA运行环境。JDK大家可以在网上查找下载,我提供一个下载链接,仅供参考。
    https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    Windows版本和Mac OS版本选择下载,下载完成之后,大家按照流程安装即可。

    第二步:配置JDK

    Windows版本:
    1.右键选择 计算机→属性→高级系统设置→高级→环境变量
    2.系统变量→新建
    变量名:JAVA_HOME
    变量值:变量值填填写JDK的安装目录,例如本人是 image


    3、在系统变量中找见Path变量,选择编辑,再选择新建,输入 image
    最后确认就OK了。

    4、检查是否安装完成。
    在系统自带cmd工具输入检测版本命令:java –version 当出现下面内容,则配置完成。

    这个1.8.0_171是安装的版本。
    Mac OS版本:
    Mac OS配置环境变量这篇文章讲的很清楚,大家参考一下:https://blog.csdn.net/vvv_110/article/details/72897142

    第三步:下载odpscmd客户端安装包
    https://help.aliyun.com/document_detail/27971.html
    点击上面的链接,找见下面的内容即可下载。

    第四步:解压安装包

    大家把安装包下载到合适的硬盘当中后,下载下来的都是zip文件,自带的电脑压缩工具应该都可以解压,如果不可以解压,大家下载一个zip解压工具就好。解压之后,就会出现四个文件夹bin、conf、lib、plugins。

    第五步:配置客户端

    编辑conf文件夹中的odps_config.ini文件,对客户端进行配置,如下所示:
    access_id=*
    access_key=* 
    Accesss ID及Access Key是用户的云账号信息,可登录阿里云官网,进入管理控制台accesskeys页面进行查看。
    project_name=my_project # 指定用户想进入的项目空间。
    end_point=https://service.odps.aliyun.com/api # MaxCompute服务的访问链接。
    tunnel_endpoint=https://dt.odps.aliyun.com # MaxCompute Tunnel服务的访问链接。
    log_view_host=http://logview.odps.aliyun.com 
    当用户执行一个作业后,客户端会返回该作业的LogView地址。打开该地址将会看到作业执行的详细信息。
    https_check=true #决定是否开启HTTPS访问
    因为.ini文件电脑默认打开的是txt的应用,电脑自带的文本文档打开之后是一长溜,不利于观看,大家可以自行下载一些txt查看工具,比如notepad什么的,利于观看。
    因为开通服务的地区不同,需要根据自己开通Regoin情况以及数据所在Regoin进行end_point和tunel_endpoint配置,可参考官方文档:
    https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN

    配置完保存即可。

    第六步:运行客户端

    修改好配置文件后,便可运行bin目录下的MaxCompute客户端(Linux系统下运行./bin/odpscmd,Windows下运行./bin/odpscmd.bat)


    第七步:测试是否安装完成

    可在客户端中运行测试语句,示例如下:
    create table tbl1(id bigint);
    insert overwrite table tbl1 select count(*) from tbl1;
    select 'welcome to MaxCompute!' from tbl1;
    如果出现以下结果,则表明安装正确。

    可能碰见的问题:
    1、没有安装JDK,没有配置环境变量,直接运行odpscmd报错。
    2、查看系统80端口,一般是打开的。端口关闭也会导致运行报错。
    3、config配置文件没有配置正确,特别注意空间名称以及endpoint,导致客户端无法正常使用。
    4、如碰见其他问题,可MaxCompute开发者社区群内咨询。

    本文作者:亢海鹏

    原文链接

    本文为云栖社区原创内容,未经允许不得转载。

  • 相关阅读:
    021.day21 反射 Class类 反射常用操作
    020.day20 线程概述 多线程优缺点 线程的创建 线程常用方法 生命周期 多线程同步
    019.day19 缓冲流 对象流 标准输入输出流
    018.day18 map集合如何实现排序 File类 IO流 字节流 字符流 编码
    017.day17 Map接口 克隆 treeSet集合排重缺陷
    016.day16 HashSet TreeSet 比较器Comparable Comparator
    015.day15
    014.day14
    013.day13
    线程
  • 原文地址:https://www.cnblogs.com/zhaowei121/p/11850357.html
Copyright © 2011-2022 走看看