zoukankan      html  css  js  c++  java
  • Hadoop综合大作业

    1.将爬虫大作业产生的csv文件上传到HDFS

    此处选取的是AllSinger.csv文件,共计35084条数据

    创建文件夹

    启动hadoop

    在hdfs上创建文件

    将文件上存到hdfs

    2.对CSV文件进行预处理生成无标题文本文件

    编辑pre_deal.sh文件进行数据的取舍处理

    使得pre_deal.sh中的内容生效。

    3.把hdfs中的文本文件最终导入到数据仓库Hive中

    创建数据库dblab

     

      创建表database_hzj并把hdfs中/database/data/目录下的数据加载到表中

    4.在Hive中查看并分析数据

    5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

    1.网易云音乐里歌手姓李的人数

    2..歌手信息里面华语歌手个数

    3.歌手信息里面华语男歌手个数

    4.歌手信息里面欧美歌手个数

    5.歌手信息里面欧美女歌手个数

    6.查找有没有陈奕迅

    7.歌手信息里面欧美男歌手个数

    8.歌手信息里面欧美组合个数

    9.歌手信息里面华语女歌手个数

    10.歌手信息里面华语组合个数

  • 相关阅读:
    Postfix邮件服务器搭建及配置
    利用linux漏洞进行提权
    NFS部署和优化
    LAMP环境搭建
    Apache2.4.6服务器安装及配置
    linux笔记_防止ddos攻击
    CentOS6.5恢复误删除的文件
    linux计划任务
    linux软连接和硬链接
    linux用户和用户组的基本操作
  • 原文地址:https://www.cnblogs.com/hzj111/p/11017348.html
Copyright © 2011-2022 走看看