hive正则表达式

hive正则

正则表达式描述了一种字符串匹配的模式，可以用来检查一个字符串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

正则表达式是由普通字符以及特殊字符组成的文字模式。

普通字符：包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号
^    匹配输入字符串的开始位置。
$    匹配输入字符串的结束位置。
[xyz]    字符集合。匹配所包含的任意一个字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。
[^xyz]    负值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'、'l'、'i'、'n'。
d    匹配一个数字字符。等价于 [0-9]。
D    匹配一个非数字字符。等价于 [^0-9]。
w    匹配字母、数字、下划线。等价于'[A-Za-z0-9_]'。
W    匹配非字母、数字、下划线。等价于 '[^A-Za-z0-9_]'。
.    匹配除换行符（
、
）之外的任何单个字符。

show tables 'e.*';

select ename from emp;

select ename from emp where ename rlike '(IN|AR)';

查询姓名 包含IN和AR的

select hiredate from emp;

4-1-1  只查询格式
1981-6-9
双斜线

select hiredate from emp where hiredate rlike '^\d{4}-\d-\d$';

正则表达式替换函数：

regexp_replace(stringA,pattern,stringB)

select regexp_replace('foobar','oo|ar','77');  f77b77

select regexp_replace(ename,'IN|AR','99') from emp;

解析函数：

regexp_extract(string,pattern,index)

实例分析：

create table IF NOT EXISTS  log_source (
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
request_body string,
http_referer string,
http_user_agent string,
http_x_forwarded_for string,
host string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';

列分隔符 和  数据字段中的符号 是否冲突

CREATE TABLE apachelog (
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
request_body string,
http_referer string,
http_user_agent string,
http_x_forwarded_for string,
host string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "("[^ ]*") ("-|[^ ]*") ("[^]]*") ("[^]]*") ("[0-9]*") ("[0-9]*") (-|[^ ]*) ("[^ ]*") ("[^]]*") ("-|[^ ]*") ("[^ ]*")"
);


"27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.php?id=27 HTTP/1.1" "303" "440" - "http://www.ibeifeng.com/user.php?act=mycourse" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36" "-" "learn.ibeifeng.com"

("[^ ]*") ("-|[^ ]*") ("[^]]*") ("[^]]*") ("[0-9]*") ("[0-9]*") (-|[^ ]*) ("[^ ]*") ("[^]]*") ("-|[^ ]*") ("[^ ]*")
解决复杂格式数据导入的问题

hive查询

数据向hive表里的多种导入方式：

load data local inpath '本地Linux文件路径'  into table tbname;

2：从hdfs上加载

load data  inpath 'hdfs文件路径'  into table tbname;

overwrite  覆盖数据  

3：as  select 

4: insert 
语法格式：insert into table tbname select sql;
create table emp_11 like emp;
insert into table emp_11 select * from emp where deptno=10;

5：hdfs命令，直接把数据put到表的目录下
hive表------- hdfs目录
bin/hdfs dfs -put /home/hadoop/emp.txt /user/hive/warehouse/hadoop29.db/emp

导出数据：

1： insert overwrite 

格式 insert overwrite [local] directory 'path' select sql;
导出到本地：
insert overwrite local directory '/home/hadoop/nice' select * from emp where sal >2000;

默认列分割符 ---'01' ----- '^A'

insert overwrite local directory '/home/hadoop/nice' row format delimited fields terminated by '	' select * from emp where sal >2000;

导出到hdfs：
insert overwrite  directory '/nice' row format delimited fields terminated by '	' select * from emp where sal >2000;

2: bin/hive -help  查看帮助


bin/hive --database hadoop29 

bin/hive -e 'use hadoop29;select * from emp;' > /home/hadoop/nice/emp.txt 

hive常用的hql语句：

过滤  where   
select *  from emp where sal >2000;

limit   select * from emp limit 1;

distinct  select distinct deptno from emp; 去重

between...and  

select * from emp where sal between 2000 and 3000;


is null  和 is not null 


select * from emp where comm is not null;

having  过滤分组后的数据

select deptno,round(avg(sal),2) as avg_sal from emp group by deptno having avg_sal > 2000;

hive函数

count() 
sum()
max()
min()
avg() 

select count(*) from emp;
select count(comm) from emp; 不统计null值 

查看所有内置函数
show functions;
查看函数信息
desc function sum;
查看函数详细信息
desc function extended sum;
desc function extended substr;

datediff  
获取当前时间戳：
select unix_timestamp();

select unix_timestamp('2019-12-12 12:12:12');
时间戳转时间
select from_unixtime(1576123932,'yyyy-MM-dd HH:MM:SS');


连表： 
join   .... on 
内连接：
select e.empno,e.ename,d.deptno,d.dname from emp e join dept d on e.deptno=d.deptno;

select e.empno,e.ename,d.deptno,d.dname from emp e left join dept d on e.deptno=d.deptno;

select e.empno,e.ename,d.deptno,d.dname from emp e right join dept d on e.deptno=d.deptno;

select e.empno,e.ename,d.deptno,d.dname from emp e full join dept d on e.deptno=d.deptno;

窗口函数：group by  聚合

查询所有部门的员工信息，并且按照薪资进行降序排序

select empno,ename,sal,deptno from emp order by sal desc;

查询所有部门的员工信息,按照部门进行薪资降序排序，并且在最后一列显示每个部门的最高薪资

select empno,ename,sal,deptno,max(sal) over(partition by deptno order by sal desc) as max_sal from emp;
可以指定根据那个字段分区根据那个字段排序
empno    ename    sal    deptno    max_sal
7839    KING    5000.0    10    5000.0
7782    CLARK    2450.0    10    5000.0
7934    MILLER    1300.0    10    5000.0
7788    SCOTT    3000.0    20    3000.0
7902    FORD    3000.0    20    3000.0
7566    JONES    2975.0    20    3000.0
7876    ADAMS    1100.0    20    3000.0
7369    SMITH    800.0    20    3000.0
7698    BLAKE    2850.0    30    2850.0
7499    ALLEN    1600.0    30    2850.0
7844    TURNER    1500.0    30    2850.0
7654    MARTIN    1250.0    30    2850.0
7521    WARD    1250.0    30    2850.0
7900    JAMES    950.0    30    2850.0


查询所有部门的员工信息,按照部门进行薪资降序排序，并且在最后一列显示每个部门唯一编号
select empno,ename,sal,deptno,row_number() over(partition by deptno order by sal desc) as rn from emp;
empno    ename    sal    deptno    rn
7839    KING    5000.0    10    1
7782    CLARK    2450.0    10    2
7934    MILLER    1300.0    10    3
7788    SCOTT    3000.0    20    1
7902    FORD    3000.0    20    2
7566    JONES    2975.0    20    3
7876    ADAMS    1100.0    20    4
7369    SMITH    800.0    20    5
7698    BLAKE    2850.0    30    1
7499    ALLEN    1600.0    30    2
7844    TURNER    1500.0    30    3
7654    MARTIN    1250.0    30    4
7521    WARD    1250.0    30    5
7900    JAMES    950.0    30    6
select empno,ename,sal,deptno,rank() over(partition by deptno order by sal desc) as rn from emp;
empno    ename    sal    deptno    rn
7839    KING    5000.0    10    1
7782    CLARK    2450.0    10    2
7934    MILLER    1300.0    10    3
7788    SCOTT    3000.0    20    1
7902    FORD    3000.0    20    1
7566    JONES    2975.0    20    3
7876    ADAMS    1100.0    20    4
7369    SMITH    800.0    20    5
7698    BLAKE    2850.0    30    1
7499    ALLEN    1600.0    30    2
7844    TURNER    1500.0    30    3
7654    MARTIN    1250.0    30    4
7521    WARD    1250.0    30    4
7900    JAMES    950.0    30    6
select empno,ename,sal,deptno,dense_rank() over(partition by deptno order by sal desc) as rn from emp;
empno    ename    sal    deptno    rn
7839    KING    5000.0    10    1
7782    CLARK    2450.0    10    2
7934    MILLER    1300.0    10    3
7788    SCOTT    3000.0    20    1
7902    FORD    3000.0    20    1
7566    JONES    2975.0    20    2
7876    ADAMS    1100.0    20    3
7369    SMITH    800.0    20    4
7698    BLAKE    2850.0    30    1
7499    ALLEN    1600.0    30    2
7844    TURNER    1500.0    30    3
7654    MARTIN    1250.0    30    4
7521    WARD    1250.0    30    4
7900    JAMES    950.0    30    5


select empno,ename,sal,deptno from (select empno,ename,sal,deptno,row_number() over(partition by deptno order by sal desc) as rn from emp) temp where rn <=2;



大数据  历史数据 

1111