zoukankan      html  css  js  c++  java
  • Hadoop综合大作业

    本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

    Hadoop综合大作业 要求

    1.将爬虫大作业产生的csv文件上传到HDFS

    2.对CSV文件进行预处理生成无标题文本文件

    3.把hdfs中的文本文件最终导入到数据仓库Hive中

    4.在Hive中查看并分析数据

    5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

    数据预处理:

    对爬取的CSV文件进行处理和清洗,删除空白和没用的数据

    清理重复的数据和无效数据

    大数据分析:

    1.将爬虫大作业产生的csv文件上传到HDFS

    先用命令创建文件夹,并进入其文件夹位置。

     将文件复制到新创文件夹中,并查看前五条数据,测试是否上传成功。

     为了更好的显示效果,我们先对数据进行文本预处理。

     

    预处理后用命令使其生效并测试是否成功。

     启动数据库服务,并进入hive路径

    创建一个数据库dbpy,和数据表lagou_py。在测试十条数据。

     用hive对数据进行分析

    1.查看评分在9.0以上的电影数量,得到结果为1508部。可以看出其网站电影质量比较高。

     2.查看由张国荣主演的电影。

     3.查看由张国荣主演的评分大于9.0的电影,其结果为0

    4查看评分在8.0-9.0的电影数量其结果为658部

     5.查询分数<8.0的电影数量,其结果为0

     6.查询1999年所拍的电影数量。

     7.查看评分在9.5以上的电影。

     8.查询评分在9.0以上的电影名称,方便给观众推荐

     查询评分9.0以上的电影的主演。

  • 相关阅读:
    【Oracle】安装
    【Java】String,StringBuffer与StringBuilder的区别??
    【Java】基本数据类型长度
    静态构造函数
    【算法】递归算法
    【JavaScript】JavaScript教程之------------------JavaScript实现
    【Android】listview优化
    【JAVA EE企业级开发四步走完全攻略】
    Eclipse下Tomcat插件的安装
    Android工具
  • 原文地址:https://www.cnblogs.com/timchan/p/11054578.html
Copyright © 2011-2022 走看看