大数据杂项

3.1mongoDB：排序

db.getCollection('test_zhouketao').find({}).sort({'_id': 1})

设置增量：{$and:[{'daas.lastUpdateTime' :{$gte : '${begin_date}'}},{'daas.lastUpdateTime' :{$lt : '${end_date}'}}]}

3.2在容器中查看微服务日志命令

docker ps | grep adapter

docker exec -it [docker_id] bash

/usr/local/tomcat/logs

/data/admatmp

复制docker中文件到服务器根目录命令：docker cp [docker_id]:source_path dst_path  /

查看任务发布上线失败 tail -f zte-itp-dcp-adapter.log|grep 'edw_test_quote_adma_0805'

3.3在服务器上执行sparksql环境命令

Spark环境服务器地址（测试环境测试任务） 10.5.21.133，root/Zte_133_it; 进入sparksql环境命令：1）spark-sql；2）use zxvmax;3)show create table ods_alm_test

3.4在服务器上执行hdfs环境命令

Hdfs环境（测试环境测试任务） 10.5.21.133，查看路径下的命令： hdfs dfs -ls /

3.5 kafka日志样例

zte-itp-dcp-adapter_app INFO 10237221 10237221 - 192.169.213.147 10.31.6.126 Apache-HttpClient/4.5.2 (Java/1.8.0_191) d.zte.com.cn /zte-itp-dcp-adapter/task/assign {} 192.169.123.116 POST 2019-08-29 12:32:57 +0800 ok- - - - - HTTP/1.1 - - - - - zte-itp-dcp-datamodeling zte-itp-dcp-adapter TaskCommitService - - - - zte-itp-dcp-datamodeling192.169.65.235^1566915850240^218278 - 8913088503369124154 -5415999034902090158 {"X-Emp-No":"10237221"} - zte-itp-dcp-adapter {"virtualTaskSet":[{"virtualTaskName":"edw_intrmgmt_qm","errCode":"0131","errInfo":"table(zxvmax.edw_intrmgmt_qm_optical_binding_relation)not found","taskSet":[{"taskName":"edw_intrmgmt_qm_power_ic_delivery_info_qy_temp2","id":0,"errCode":"0131","errInfo":"table(zxvmax.edw_intrmgmt_qm_optical_binding_relation)not found"}]}],"taskPreCheckRsp":""} http-nio-8080-exec-10 zte-itp-dcp-adapter/ 358 com.zte.itp.dcp.adapter.task.service.TaskCommitService

 com.zte.itp.dcp.adapter.callback.service.CallbackServiceImpl [79] -| send Kafka msg,key:task_assign_result_msg,msg:{"processId":"e3135bbbc38c4fb495928e9ee55e1564","taskAssignResults":[{"isSuccess":"true","taskId":"367017264220766208","taskList":[{"errInfo":"","insID":"4601","isSuccess":"true","taskName":"ods_alm_liuyue_test_0905_4_liuyue_res1_ztetmp(2019-12-02 07:15:00)"},{"errInfo":"","insID":"4602","isSuccess":"true","taskName":"ods_alm_liuyue_test_0905_4_zte02"}],"taskVerCode":"V1.0.6"}]}

3.6 Oracle数据库设置增量条件

LAST_UPDATED_DATE>=to_date($[lastexcutedate],'YYYY-MM-DD HH24:mi:SS')

sync_date >= to_date(substr($[lastexcutedate]-5,1,10),'yyyy-MM-DD') and sync_date < sysdate and to_char(sync_date,'yyyy-MM-dd')>='2020-01-20'

3.6.1 Mysql时间装换函数

select STR_TO_DATE(update_date,'%Y-%m-%d %H:%i:%s') as my_date,DATE_FORMAT(createdate,'%Y-%m-%d %H:%i:%s') from liuyue_test_hour;

update_date >= STR_TO_DATE(substr($[lastexcutedate]-5,1,10),'%Y-%m-%d %H:%i:%s') and update_date < sysdate() and date_format(update_date,'%Y-%m-%d')>='2020-01-20'

 3.7 adma任务运行失败日志查询

bundleresult

3.8内部表和外部表

未被external修饰的是内部表（managed table），被external修饰且存储路径为hive的数据仓库（HDFS:/namespace/spark/）的为外部表（external table）；

区别：

1）内部表数据由Hive自身管理，外部表数据由HDFS管理；

2）内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；

3）删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；

4）对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）

3.9查看建表语句

show create table zxvmax.edw_dim_employee_cs

3.10维度SQL详解：

tmp01 (1)ods表的所有数据;(2)这里生成的代理键只是为了满足表结构，在tmp03中还会重新生成

tmp02 （1）有效值为N的；（2）渐变列名称有变化的；（3）ods表中已经删除的

tmp03 （1）把所有有效标志不为N，id不为空的记录的最后更新时间设置为当前时间；（2）缓慢变化之后的记录，新增的记录（在此重新生成所有代理键，生成缓慢变化和新增记录的自然键）；

tmp02+tmp03的数据插入到逻辑表中。汪良伟

3.10事实增量拉链SQL详解：

拉链表将过去每一天从ods来的的数据置为N，保存，当天从ods来的全量数据置为Y，开始时间为当前时间

tmp1 （1）ods表的所有数据;(2)当前时间为开始时间，结束时间为空

tmp2 （2）将edw表中原有的数据结束时间设置为tmp1中的开始时间，ods中结束时间设置为NULL（相当于ods中所有数据为有效，原来有效数据设置为无效）

tmp3 （3）将原表和tmp2中结束时间不为NULL的有效标志置为N，将tmp2中结束时间为NULL的置为Y

3.11数据集成增量SQL详解：

第一部分：修改的

第二部分：新增的

第三部分：没有变化的

3.12数据集成增量分区漂移不处理SQL详解：

第一种，更新的数据中，只有新增的分区值，更新数据没有跟原分区重合的部分，则不重写原分区。

第一部分：修改的

第二部分：新增的

第三部分：null（原分区中的数据都还在，包括漂走到其他分区的数据）

第二种，更新的数据中，有新增的分区值，更新数据有跟原分区重合的部分，则重写原分区。

第一部分：修改的

第二部分：新增的

第三部分：找到有分区重复的数据，且id不在更新数据中的原表中的数据（即没有变化的数据，但分区变化的漂走了）

3.13数据集成增量分区漂移处理SQL详解：

第一部分：修改的

第二部分：新增的

第三部分：没有变化的

3.14 left anti join 和left semi join

Select * from table1 t1 left anti join table2 t2 on t1.name=t2.name  ---left anti join是表1中除去交集的部分

Select * from table1 t1 left anti join table2 t2 on t1.name=t2.name  ---left semi join 是取表1中与表2交集的部分

总之，left anti join和left semi join都是取主表中的字段，而没有表2中的。所以不能写成：

Select t2.name  from table1 t1 left anti join table2 t2 on t1.name=t2.name

3.15代码补全工具TabNine

edw_engsrv_dpm_site_bom_satisfaction  --python任务---251环境

3.16阿里云UI自动化测试：F2etest

3.17 kimball的维度建模理论

3.18 postgresql数据源报错

Java.lang.numberFormatException:For.input.string:”2.97664e+06”

在数据库中执行下面这个语句，执行结果不为空，说明是用户权限问题，需要增加授权

select t1.table_schema as owner,t1.table_name,cast(obj_description(t2.relfilenode,'pg_class') as varchar) as table_comment,coalesce(t2.reltuples, 0) table_rows,concat(t1.table_schema,'.',t1.table_name) as schema_table_name from information_schema.TABLES t1,pg_class t2 where t1.table_name = t2.relname

从表中抽取字段：

select t3.column_name,      format_type(t2.atttypid, t2.atttypmod) as data_type,     col_description(t2.attrelid, t2.attnum) as column_comment,     '0' as data_length  from pg_class t1,     pg_attribute t2,     information_schema.COLUMNS t3  where t1.relname = t3.table_name     and t2.attname=t3.column_name     and t2.attrelid = t1.oid     and t2.attnum > 0     and t3.table_schema= ?     and t3.table_name= ?

Spark_pg报错执行：

select concat(b."NAME", '.', a."TBL_NAME") as schema_table_name,    a."OWNER" as owner,    a."TBL_NAME" as table_name,    0 as table_rows  from "TBLS" a, "DBS" b  where a."DB_ID" = b."DB_ID"

3.19 postgresql数据库查询某个用户在某个库的表的权限

select * from INFORMATION_SCHEMA.role_table_grants where grantee='postgres' and table_schema ='postgres';

3.20阿里巴巴datax信息

https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md