zoukankan      html  css  js  c++  java
  • HDFS API

    一:

      HDFS:hadoop分布式文件系统

        两种表现形式:(1)hadoop fs shell命令-->hadoop fs -command

                 (2)java API方式访问-->DistributedFileSystem对应的HDFS

    二:搭建IDE

      a.查找hadoop的依赖包,在{hadoop_home/share}目录下查找.jar文件,复制后拷贝至{hadoop_home}/_jar/,

                  在{hadoop_home}/_jar/下查找sources文件,剪切后拷贝至{hadoop_home}/_sources/,

                  在{hadoop_home}/_sources/下查找test文件,剪切后拷贝至{hadoop_home}/_test/。

                 {hadoop_home}/_jar/的文件是Hadoop java开发所依赖的jar包

                 {hadoop_home}/_sources/的文件是Hadoop java开发所依赖的源码包

                 {hadoop_home}/_test/的文件是Hadoop java开发所依赖的测试包

      b.集成Myeclipse开发环境

        1:将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下

        2:重启Myeclipse

        3:校验安装是否成功,查看windows-->perferences-->hadoop Mapreduce

        4:在{hadoop mapreduce}视图下,添加hadoop的安装路径,例如D:softhadoop-2.7.3  

        5:创建hadoop的链接

          a:打开Mapreduce Location视图-->新建hadoop Location-->弹出编辑窗口

          b:dfs RPC协议端口为9000,默认为8020,mapreduce RPC协议端口为9001,默认为8021,username为你的集群的用户名,host为你的主机名

      c.配置windows Hadoop工具包

        1.拷贝hadoop.dll和winutils.exe至{hadoop_home}/bin下

        2.配置环境变量 HADOOP_HOME=D:softhadoop-2.7.3,PATH=%HADOOP_HOME%in

      d.创建Hadoop工程编写代码

  • 相关阅读:
    论学究式教育
    Oracle中rownum与order by的执行顺序
    无效存储过程问题解决
    解决SGA_MAX_SIZE 的大小比 MEMORY_TARGET 大导致数据无法启动的错误
    ORACLE 按时间创建分区表
    Timage Canvas画图
    Oracle存储过程的加密
    Win32对话框模板创建的窗口上响应键消息,Tab焦点切换消息,加速键消息
    win32 TreeCtrl控件通知消息, LVN_SELCHANGED和LVN_ITEMCHANGED用法
    win32 对话框模板添加加速键
  • 原文地址:https://www.cnblogs.com/lyr999736/p/9169159.html
Copyright © 2011-2022 走看看