zoukankan      html  css  js  c++  java
  • DataWorks入门

    阿里云有很多成熟的云产品(萌新认知),我自己只用过腾讯云的对象存储,对这类云产品不是特别了解。

    有幸参与到大数据相关的项目,跟着学了点工具的使用方法,非常简单,也了解了一些使用大数据分析问题的流程。

    参考资料

      官方文档->点击跳转

      在使用之前肯定需要有账号巴拉巴拉什么的,根据官方文档来就好了。

    临时查询

      临时查询可以写点类似sql的语句查查东西,建建表啥的。


      使用过程:临时查询->右键新建-新建节点-ODPS SQL->写语句->运行语句

           这里的SQL不是正经的SQL,他们自己有一个规范,具体参考官方文档->点击跳转

    CREATE TABLE test111 (
        ID int COMMENT 'id'
        ,NAME STRING COMMENT '姓名'
    ) COMMENT '测试表111'
    简单建表
    SELECT name
        ,age
        ,tel
    FROM test_jey
    WHERE age = 20
    简单查询
    DROP TABLE 表名  --删表
    TRUNCATE TABLE 表名  --清空表
    其他

     

      这里使用的是按需版,select花钱,按数据的量算钱,最低一分,执行之前会告诉费用,可以不运行。包月的就随便查。

      在下方可以看到日志和查询结果,在左边的运行历史也可以看到语句、日志和结果。

    建表

      非常简单,可以写语句(选择DDL模式里面写语句),也可以在页面上点点点来建表(个人比较喜欢)。

      数据开发->带+号的图标->表(或者 表管理->带+号的图标)->表名->表结构信息->提交到生产环境

     

    业务流程

      以下为萌新理解:

        对大数据的分析肯定很复杂,不是连几个表查询查询就能解决的事情。在这里可以把你想实现的运算按步骤一个节点一个节点写出来,有个可视化的节点,有利于整理思路,不至于写着写着就懵了(比如我这种小可爱

      左边有很多可以拖拽的东西。第一个数据集成的数据同步,数据同步的功能就是将数据从这里导出到别的数据源(各种数据库、自己的、阿里的,很多种,oracle好像比较费劲),或者将其他数据源的数据导入这里。下面绿色的就是可以用各种语言来算点东西,想用哪个用哪个。

      同时,这里的每一步工作都可以定时来做(右侧-调度配置)。因为大数据项目基本都不是死数据,都是逐渐增加的,所以分析也要经常更新。可以设置每年/月/日/小时/分钟运行。

     

    函数列表

      给了一些可以用的函数(在sql语句中使用),非常方便,也可以自定义函数。

  • 相关阅读:
    长进程后用电脑发送提示消息到手机微信
    python-openCV 绘制图形
    python调用C++实例:用C++对numpy执行BFS(广度优先搜索)
    numpy中多维数组的绝对索引
    python调用C++ DLL 传参技巧
    React 中常见的动画实现方式
    H5和android原生APP之间的区别
    【转发】三层架构、MVC以及与SSM架构的对应关系(通俗易懂)
    VS code 设置中文后没有反应仍然是英文
    从数据库中获取信息显示在select下拉框中并实现联动
  • 原文地址:https://www.cnblogs.com/unpro-mercy/p/11589734.html
Copyright © 2011-2022 走看看