【hive配置】
hive
mysql
【hive操作实践】
HQL:
数据定义;
创建修改和删除 - 数据库、表(内部表,外部表,分区表)、视图、函数和索引 ;参:http://dblab.xmu.edu.cn/blog/1080-2/
用户自定义函数
数据操作;
数据导入(导入hive)
数据导出(Hbase,mysql,hdfs)
【hive认识:】
hive作为数据仓库 两个要点:
1 数据存储
大量非结构数据可保存为结构化的数据;
2 数据的提取/ 数据初级处理 [HQL]
基于大数据提取需求的数据;提取想要的字段;
服务于下一阶段的需求;
【大数据使用Hive数据分析案例-解决思路】
1 数据上传Hive;
2 Hive数据分析:HQL;
提取需求数据保存在一个Hive表中;
3 Hive-HBase-MySQL之间数据互导;
通过Sqoop;
可导入HBase,利用HBase提供的API编程,利用结构化数据
可导入MySQL,为业务逻辑单元提供数据支持;
4 数据可视化;
web;
R;
案例:http://dblab.xmu.edu.cn/blog/959/