一、Hive的JDBC连接
日志分析结果数据，存储在hive中
<property> <name>hive.server2.thrift.port</name> <value>10000</value> <description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>localhost</value> <description>Bind host on which to run the HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_BIND_HOST</description> </property>
hive.server2.thrift.bind.host
如果需要远程连接，则改成主机名beifeng-hadoop-02,或者0.0.0.2（表示任何主机都可以连接）
hiveserver2进程的启动:nohup hiveserver2 > /home/beifeng/hiveserver2.start.log 2>&1 &
nohup hive --service hiveserver2 > /home/beifeng/hiveserver2.start.log 2>&1 &
ps -ef | grep HiveServer2
netstat -tlnup | grep 10000
如果需要远程连接，则改成主机名beifeng-hadoop-02,或者0.0.0.2（表示任何主机都可以连接）
JDBC连接
beeline连接客户端beeline
进入beeline交互式窗口以后，
执行：!connect jdbc:hive2://beifeng-hadoop-02:10000
首次用beeline访问Hive，会出现异常
hive.server2.long.polling.timeout
username：用户名一定要用hdfs上的用户，或者对hdfs上与hive相关的目录有写权限的用户名
hive.metastore.warehouse
passwd
二、Sqoop
1. 数据来源：
（1）日志数据：业务系统运行过程中产生的业务日志数据（用户行为数据），上传到hdfs
对于小数据量： shell脚本方式 hdfs dfs -put
对于大数据量： 使用专门框架
Flume：使用mapreduce导数据到
LogStah：ELK ---> E elasticsearch | L logstach | K kinbana
（2）RMBMS的记录：需要先导入到HDFS上
金融行业，反欺诈模型--》通过分析历史金融交易记录
金融交易记录：一般是存储在DB2、ORACLE
Sqoop框架：
RMDBS <=======> HDFS
Sqoop框架底层本质：还是mapreduce，只需要map，并发执行
2. Sqoop架构
sqoop
sqoop1：包含了sqoop的核心，使用命令操作
sqoop2：在sqoop1的基础上封装了一些服务，比如添加连接池、客户端
导数据其实一般是通过编写脚本，定时去执行。
3. Sqoop安装部署
统一使用cdh版本： 各个框架之间存在版本的兼容性，
Cloudera公司 Doug Cutting
Cloudera Manager：集群监控、管理的工具
cdh版本： hadoop、hive、sqoop、flume、hue、oozie
bin/sqoop help
bin/sqoop export
bin/sqoop import
bin/sqoop list-databases
bin/sqoop list-tables
bin/sqoop --options-file 文件名
4. 项目案例
订单分析：数据来源于RDBMS
统计的需求：
日期维度：年
订单金额总额、平均订单金额、最大订单金额、最小订单金额
日期维度+地域维度：某个国家省份城市+年
订单金额总额、平均订单金额、最大订单金额、最小订单金额
某个客户下：历史、年
订单金额总额、平均订单金额、最大订单金额、最小订单金额
实现实录：
1）将订单记录从RDBMS上导入到HDFS
2）Hive进行统计分析
3）将统计结果数据导出到RDBMS
sqoop export
bin/sqoop --list-databases
--connection --jdbc:mysql://host:port/database
--username
--password
1）用sqoop将数据导入到hdfs
bin/sqoop help import
bin/sqoop import
--connection --jdbc:mysql://host:port/database
--username
--password
--table cust info
--target-dri hdfs://host/user/beifeng/import/cust_info
--delete-target-dir
增量导入
--check-column 依据字段，类型应该使用数字类型
--incremental 模式 append lastmodified
--last-value 上次导的值
强烈建议使用数字类型的字段进行切分
指定map个数 --num-mappers
默认导入到hdfs上的文件是CSV文件（每个字段之间使用逗号隔开）。
====按照自定义分隔符将RDBMS表数据导入hdfs
Output line formatting arguments：指定MapReduce输出格式
Input parsing arguments：指mapreduce读取数据时解析数据
--fields-terminated-by： 指定分隔符