zoukankan      html  css  js  c++  java
  • 大数据应用期末总评

    作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

    一、课程评分标准:

    分数组成:

    考勤 10

    平时作业 30

    爬虫大作业 25

    Hadoop生态安装与配置 10

    分布式文件系统HDFS

    分布式并行计算MapReduce

    Hadoop综合大作业 25

     评分标准:

    难易程度

    数据量

    文章质量:描述、分析与总结

    二、17周演示检查:《爬虫大作业》和《Hadoop综合大作业》

    三、Hadoop综合大作业 要求:

    1.将爬虫大作业产生的csv文件上传到HDFS

    2.对CSV文件进行预处理生成无标题文本文件

    3.把hdfs中的文本文件最终导入到数据仓库Hive中

    4.在Hive中查看并分析数据

    5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

    四、材料提交方式及日期

    1. 每人提交一个文件夹,以学号姓名命名
    2. 个人文件夹里包含三个作业的材料:
      1. 代码
      2. 结果
      3. 博客文章
    3. 请在2019/06/21 日期之前提交给学委
    4. 学委收齐后,整理刻录一张光盘交给老师。
      1. 空白光盘可找老师领取
      2. 建一个班级文件夹,里面放一个一个同学的文件夹,都不要压缩

    五、爬虫大作业分析的数据

    1.将爬虫大作业产生的csv文件上传到HDFS

    2.对CSV文件进行预处理生成无标题文本文件

    3.把hdfs中的文本文件最终导入到数据仓库Hive中

    4.在Hive中查看并分析数据

    5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

    (1)查看排名前十的数据

    (2)查看数据的总数量

    (3)查看有多少不重复id的数量

    (4)查看发布评论前20名的用户名

    (5)查看发布评论前20名的省份

    (6)查看发布评论前20名的评论

    (7)查看发布评论前20名的评分

    (8)查看评分为5的用户数

    (9)查看用户省份为上海的用户数

    (10)查看用户省份为广州的用户数

  • 相关阅读:
    Tensorflow入门:Linear Regression
    日语动词变形总结
    序列模型第二周作业2:Emojify!
    序列模型第二周作业1:Operations on word vectors
    序列模型第一周作业3: Improvise a Jazz Solo with an LSTM Network
    序列模型第一周作业2: Character level language model
    序列模型第一周作业1: Building your Recurrent Neural Network
    Bidirectional RNN (BRNN)
    Long Short term memory unit(LSTM)
    propertyGrid使用
  • 原文地址:https://www.cnblogs.com/Anla/p/11060549.html
Copyright © 2011-2022 走看看