一、用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。
1.启动hadoop
2.在Hdfs上创建文件夹并查看
3.把下载的英文小说novers.txt文件上传至hdfs
4.启动Hive
5.创建原始文档表,把文件内容导入到表fiction1中
6.进行词频统计,结果放在表fiction_word_count里
7.查看统计结果
二、用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。
1.将爬取校园新闻生成的csv文件,然后通过qq邮箱在虚拟机的Linux系统下载
2.把下载的csv文件上传到hdfs,然后启动hive
3.导入数据到docs表并查看
4.查看docs表