zoukankan      html  css  js  c++  java
  • 大数据应用期末总评

    作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

    大数据分析:

      1.将爬虫大作业产生的csv文件上传到HDFS

        Python爬取到的数据:

        

        

        (1)首先创建一个用于运行本案例的目录bigdatacase

        

        (2)在本地查看数据集

        

      2.对CSV文件进行预处理生成无标题文本文件   

        

      3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中

        (1)首先通过start-all.sh命令启动进程

          

        (2)上传并查看文件

          

          

          

      4.在Hive中查看并分析数据

        (1)创建表comment

        

        (2)查看前comment表前10行数据

        

      5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

        (1)查询数据总数目

          

         (2)查询userid(用户id)不重复的数据数目

          

         (3)查询content(弹幕内容)不重复的数据数目

          

         (4)查询pattern值为7的数据数目(弹幕的模式:1..3 滚动弹幕 4底端弹幕 5顶端弹幕 6.逆向弹幕 7精准定位 8高级弹幕)

          

        (5)查询content(弹幕内容)包含'御坂美琴'的数据数目

          

         (6)查询pattern(弹幕模式:1..3 滚动弹幕 4底端弹幕 5顶端弹幕 6.逆向弹幕 7精准定位 8高级弹幕)各个模式的数目(降序)

          

          

         (7)查询content(弹幕内容)出现频率最高top4

          

          

           

          

  • 相关阅读:
    阿里云服务器,http免费转https详细教程
    springboot系列总结(二)---springboot的常用注解
    springboot系列总结(一)---初识springboot
    java 查询当天0点0分0秒
    mysql各个版本驱动jar包下载 mysql/mysql-connector-java/5.1.22
    泰坦尼克 学习
    切片
    忽略warning 警告
    迭代 递归 循环 遍历
    标准化 归一化
  • 原文地址:https://www.cnblogs.com/LinsenLiang/p/11060997.html
Copyright © 2011-2022 走看看