Train-Alypay-Cloud：蚂蚁大数据平台培训开课通知（第三次）- 培训笔记

ylbtech-Train-Alypay-Cloud：蚂蚁大数据平台培训开课通知（第三次）- 培训笔记

1. 培训环境返回顶部

1、操作环境：http://cloud.alipay.com

2、操作帐号：已激活的个人账户

3、公共账号：dataai@126.com/52dataai

 

2. 大数据平台返回顶部

1、大数据平台

https://www.cloud.alipay.com/docs/2/57238

2、MaxCompute

https://www.cloud.alipay.com/docs/2/27800

3、DataV数据可视化

https://www.cloud.alipay.com/docs/2/30360

4、云数据实验室

https://www.cloud.alipay.com/docs/2/47611

5、分析性数据库

https://www.cloud.alipay.com/docs/2/26373

6、

 

3. ODPS返回顶部

ODPS参考文档：https://help.aliyun.com/product/27797.html

ODPS SQL手册：https://help.aliyun.com/document_detail/27860.html

与标准SQL的主要区别：https://help.aliyun.com/document_detail/50985.html

 

4. 大数据平台返回顶部

1、大数据平台

https://daas.cloud.alipay.com/index.htm#/console/apps?projectName=QRBDXICN&workspaceName=ISVTraining&_k=sygp90

2、数据工厂

https://dqs.cloud.alipay.com/dataFactory.htm

2.1、

1)rds_to_odps_company_sales_record.odps

Drop table if exists rds_to_odps_company_sales_record
;

CREATE TABLE IF NOT EXISTS rds_to_odps_company_sales_record ( 
    order_id         STRING 
   ,report_date      STRING 
   ,customer_name    STRING 
   ,order_level      STRING 
   ,order_number     DOUBLE 
   ,order_amt        DOUBLE 
   ,back_point       DOUBLE 
   ,shipping_type    STRING 
   ,profit_amt       DOUBLE 
   ,price            DOUBLE 
   ,shipping_cost    DOUBLE 
   ,area             STRING 
   ,province         STRING 
   ,city             STRING 
   ,product_type     STRING 
   ,product_sub_type STRING 
   ,product_name     STRING 
   ,product_box      STRING 
   ,shipping_date    STRING 
)
partitioned by (dt string,region string);
;
--添加字段注释

ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN order_id COMMENT '订单编号'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN report_date COMMENT '订单日期'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN customer_name COMMENT '客户名称'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN order_level COMMENT '订单等级'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN order_number COMMENT '订单数量'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN order_amt COMMENT '订单金额'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN back_point COMMENT '折扣点'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN shipping_type COMMENT '运输方式'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN profit_amt COMMENT '利润金额'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN price COMMENT '单价'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN shipping_cost COMMENT '运输成本'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN area COMMENT '区域'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN province COMMENT '省份'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN city COMMENT '城市'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN product_type COMMENT '产品类型'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN product_sub_type COMMENT '产品小类'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN product_name COMMENT '产品名称'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN product_box COMMENT '产品包箱'
;


ALTER TABLE rds_to_odps_company_sales_record CHANGE COLUMN shipping_date COMMENT '运输日期'
;

2)tmpQuery.odps

count company_sales_record_20180228
;

SELECT maskutil2018('sealyliu@alipay.com') 
      ,maskutil2018('18116310101') 
  FROM (SELECT COUNT(*) 
          FROM company_sales_record_20180228 
       )a
       ;
       
SELECT * 
  FROM adm_company_sales_record_sum_m 
 WHERE dt = '@@{yyyyMMdd}'
 ;

3)刷新脚本_交易月度汇总

INSERT OVERWRITE TABLE adm_company_sales_record_sum_m PARTITION (dt='@@{yyyyMMdd}')
SELECT report_date
      ,order_level 
      ,area 
      ,province 
      ,city 
      ,SUM(order_number) 
      ,SUM(order_amt) 
  FROM rds_to_odps_company_sales_record
  where dt='@@{yyyyMMdd}'
    and region='beijing'
GROUP BY report_date
        ,order_level 
        ,area 
        ,province 
        ,city
;


select * from adm_company_sales_record_sum_m where dt='@@{yyyyMMdd}'

4)建表脚本_交易明细表

DROP TABLE IF EXISTS  company_sales_record_20180228
;
CREATE TABLE if not exists company_sales_record_20180228 ( 
    order_id         STRING 
   ,report_date      STRING 
   ,customer_name    STRING 
   ,order_level      STRING 
   ,order_number     DOUBLE 
   ,order_amt        DOUBLE 
   ,back_point       DOUBLE 
   ,shipping_type    STRING 
   ,profit_amt       DOUBLE 
   ,price            DOUBLE 
   ,shipping_cost    DOUBLE 
   ,area             STRING 
   ,province         STRING 
   ,city             STRING 
   ,product_type     STRING 
   ,product_sub_type STRING 
   ,product_name     STRING 
   ,product_box      STRING 
   ,shipping_date    STRING 
)
;


--添加字段注释
ALTER TABLE company_sales_record_20180228 CHANGE COLUMN order_id COMMENT '订单编号';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN report_date COMMENT '订单日期';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN customer_name COMMENT '客户名称';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN order_level COMMENT '订单等级';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN order_number COMMENT '订单数量';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN order_amt COMMENT '订单金额';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN back_point COMMENT '折扣点';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN shipping_type COMMENT '运输方式';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN profit_amt COMMENT '利润金额';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN price COMMENT '单价';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN shipping_cost COMMENT '运输成本';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN area COMMENT '区域';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN province COMMENT '省份';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN city COMMENT '城市';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN product_type COMMENT '产品类型';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN product_sub_type COMMENT '产品小类';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN product_name COMMENT '产品名称';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN product_box COMMENT '产品包箱';


ALTER TABLE company_sales_record_20180228 CHANGE COLUMN shipping_date COMMENT '运输日期';

5)建表脚本_交易月度汇总表

CREATE TABLE if not exists adm_company_sales_record_sum_m ( 
    report_month STRING 
   ,order_level  STRING 
   ,area         STRING 
   ,province     STRING 
   ,city         STRING 
   ,order_number DOUBLE 
   ,order_amt    DOUBLE 
) partitioned by (dt string)

;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN report_month COMMENT '订单月份'
;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN order_level COMMENT '订单等级'
;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN order_number COMMENT '订单数量'
;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN order_amt COMMENT '订单金额'
;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN area COMMENT '区域'
;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN province COMMENT '省份'
;


ALTER TABLE adm_company_sales_record_sum_m CHANGE COLUMN city COMMENT '城市'
;

6)建表脚本_机构维表sql

CREATE TABLE IF NOT EXISTS dim_company ( 
    province    STRING 
   ,sub_company STRING 
)
;


ALTER TABLE dim_company CHANGE COLUMN province COMMENT '省份'
;


ALTER TABLE dim_company CHANGE COLUMN sub_company COMMENT '分公司名称'
;

5.返回顶部

 PAI任务 -  机器学习

6.返回顶部

7.返回顶部

 

8.返回顶部

 

9.返回顶部

1、不需要预计算。

2、传统出仓，Oracle数据库，关系型数据库。

3、OTS毫秒级查询数据，不用下方，实时数据；传统数据仓与业务数据及时同步问题。

4、

1）检索型

2）多表查询型

OTS、ODS、OSS

HBase

10.返回顶部

 

 

11.返回顶部

 

作者：ylbtech 出处：http://ylbtech.cnblogs.com/ 本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。