zoukankan      html  css  js  c++  java
  • hadoop综合大作业

    Hadoop综合大作业 要求:

    1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。

    词频统计的截图如下:

    上次我所使用的文章是一篇中文文章,所以这次我用了一篇英文文档来进行分词,大致的流程与上次的操作差不多。

    这是启动hadoop的画面。

    启动hive的画面

    这是整篇英文文章读取出来后的结果。

    2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

    这个文件是之前爬虫得到的csv文件,由于数据量比较大,我就只截取了所有数据的前100条,在之后我就将这个文件传到了hadoop上面去,在我打算将它用hive新生成的文件显示出来的时候,结果显示的是乱码,如下图所示:

    我在网上查阅了很多资料,可能是编码的问题,但是参照网上的那些改变编码的语句,结果还是与原来一样,不知道是因为文件在传至hadoop的过程中编码的问题还是hive新建表出现错误。最后我还是采用了与之前一样的方法,新建一个txt文档,把数据放进里面,传到hadoop上面,然后把数据显示出来。

    新建一个txt文档。

    将文本中的内容显示出来。

  • 相关阅读:
    第十一作业
    第十次作业
    06 逻辑回归
    05 线性回归算法
    04 K均值算法--应用
    03 K均值算法
    02 机器学习相关数学基础
    01 机器学习概述
    15 语法制导的语义翻译
    014 算符优先分析
  • 原文地址:https://www.cnblogs.com/cairuiqi/p/9064157.html
Copyright © 2011-2022 走看看