本作业来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363
1.将爬虫大作业产生的csv文件上传到HDFS
将爬虫大作业中爬取到的数据文件csv导入到/usr/local/bigdatacase/dataset目录下
2.对CSV文件进行预处理生成无标题文本文件
利用bash ./douban.deal.sh douban.csv douban.db.table.txt对文本进行预处理，字符分割、输出
douban.deal.sh脚步如下：
因为本人爬取的数据文件中，评论数据是长评论，所以我就把该列去除了。
查看/usr/local：
利用start-all.sh命令，启动HDFS
在HDFD上建立/bigdatacase/dataset文件夹
把douban_db_table.txt上传到HDFS中
3.把hdfs中的文本文件最终导入到数据仓库Hive中
4.在Hive中查看并分析数据
5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）
①统计数据总条数
②查询前十条数据
③查询level为力荐的总数
④查询level为推荐的总数
⑤统计level=“力荐”的点赞数
⑥统计level=“力荐”的反对数
⑦统计level=“推荐”的点赞数
⑧统计level=“推荐”的反对数
⑨先查询出level=“力荐”的最高点赞数，然后再根据最高点赞数查询出该用户
④先查询出level=“推荐”的最高点赞数，然后再根据最高点赞数查询出该用户
总结：
通过hive数据库查询统计，在爬取的数据中，《无双》影片在绝大部分人认为是一部很不错的片子，评分星级中的力荐和推荐数占比例80%以上，并且力荐和推荐的评论的点赞数也是远远高于反对数的，hive数据库统计中，因为评论过长，所以我没有导进去，把评论内容这列删除了，但是查询出来的力荐和推荐的最高点赞评论，就可以去观察这两条评论。
问题：在文本预处理中，已经处理好的数据，导入到hive数据库中，建表的字段也和文本字段对应，但却出现有些数据为null的现象，对于这个问题，我也有回头认真检查是否我的文本预处理没有处理好，但是检查结果是文本已经处理好了，就是都进去有些数据不能对应。