zoukankan      html  css  js  c++  java
  • Hadoop综合大作业

    作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

    Hadoop综合大作业

    1.将爬虫大作业产生的csv文件

    2.对CSV文件进行预处理生成无标题文本文件

    3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中

    4.在Hive中查看并分析数据

    5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

     (1)查询数据的总数

    (2)查询前十的标题:

    (3)查询前20条用户评论:

    (4)查询前20条用户名:

    (5)查询前20的发布省份:(自己添加的)

     分析:从查询结果可知,其实大部分的内容都是围绕着同一个主题发展,各自的粉丝为各自而战。

    总结:在导入这个csv文件和查看过程中是不会出现每一条数据间有空行现象的,但是导入hdfs后就出现了一个null,我觉得应该是数据存储上出了bug,但是不知道怎么用命令行修改,所以就这样了。

    这次分析是基于爬取虎扑社区绝地求生吧的信息,经过预处理上传到hdfs,再用hive导入到数据库,最后进行查询分析。遇到的问题为在csv导入到虚拟机时查看数据出现过乱码现象,我把传入的文件弄成txt格式,改编码为utf-8再进行转存为csv文件,上传到虚拟机就无误了。

    错误截图:

  • 相关阅读:
    第12章学习笔记
    尝试用华为Matepad平板在华为云openEuler做SM系列测试实验
    flex tree xml相关
    asp.net乱码问题
    ArcGIS Server for Flex 资源收集
    asp.net 读写excel
    Geoprocessor 使用
    上传控件
    html页面布局 水平居中 垂直居中
    ArcGIS Engine 代码收集贴
  • 原文地址:https://www.cnblogs.com/zjby/p/11058317.html
Copyright © 2011-2022 走看看