zoukankan      html  css  js  c++  java
  • eclipse工具下hadoop环境搭建

    eclipse工具下hadoop环境搭建:
        window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容。
        1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件夹中。
        2、重启eclipse工具。打开eclipse工具以后,找到如下位置,打开map/reduce。


        3、切换视图到MapReduce视图下面,配置连接信息。

      注意:

        a、location name自己随便起名称。

        b、Host是你想要连接的主机ip地址。

        c、第一个Port=50020默认即可,第二个Port是自己配置core-site.xml文件的时候配置的端口号。               


     然后就可以查看hdfs上面的文件信息了,如下所示:

       4、进行上传和下载验证是否安装成功。

         注意:上传的文件必须是utf-8格式的,window保存文本默认是ANSI格式的,所以需要注意。

    上传文件到hdfs的时候遇到如下所示的问题:Permission denied:user=,access=WRITE,inode=""。而且创建文件夹也会不显示,按照提示应该是权限的问题。解决方法如下所示:

    解决方法如下所示,记住解决完以后,创建文件或者文件夹记住刷新,不是自动刷新结构的

    <property>    
        <name>dfs.permissions</name>    
        <value>false</value>    
    </property>   

     如果上传的文件是utf-8格式的,但是在eclipse打开以后显示的是乱码的,做如下修改即可:

  • 相关阅读:
    luogu P2852 [USACO06DEC]Milk Patterns G
    FZOJ 4267 树上统计
    CF1303G Sum of Prefix Sums
    luogu P5311 [Ynoi2011]成都七中
    luogu P5306 [COCI2019] Transport
    SP34096 DIVCNTK
    luogu P5325 【模板】Min_25筛
    luogu P1742 最小圆覆盖
    求两直线交点坐标
    1098: 复合函数求值(函数专题)
  • 原文地址:https://www.cnblogs.com/biehongli/p/8726869.html
Copyright © 2011-2022 走看看