zoukankan      html  css  js  c++  java
  • HDFS API

    一:

      HDFS:hadoop分布式文件系统

        两种表现形式:(1)hadoop fs shell命令-->hadoop fs -command

                 (2)java API方式访问-->DistributedFileSystem对应的HDFS

    二:搭建IDE

      a.查找hadoop的依赖包,在{hadoop_home/share}目录下查找.jar文件,复制后拷贝至{hadoop_home}/_jar/,

                  在{hadoop_home}/_jar/下查找sources文件,剪切后拷贝至{hadoop_home}/_sources/,

                  在{hadoop_home}/_sources/下查找test文件,剪切后拷贝至{hadoop_home}/_test/。

                 {hadoop_home}/_jar/的文件是Hadoop java开发所依赖的jar包

                 {hadoop_home}/_sources/的文件是Hadoop java开发所依赖的源码包

                 {hadoop_home}/_test/的文件是Hadoop java开发所依赖的测试包

      b.集成Myeclipse开发环境

        1:将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下

        2:重启Myeclipse

        3:校验安装是否成功,查看windows-->perferences-->hadoop Mapreduce

        4:在{hadoop mapreduce}视图下,添加hadoop的安装路径,例如D:softhadoop-2.7.3  

        5:创建hadoop的链接

          a:打开Mapreduce Location视图-->新建hadoop Location-->弹出编辑窗口

          b:dfs RPC协议端口为9000,默认为8020,mapreduce RPC协议端口为9001,默认为8021,username为你的集群的用户名,host为你的主机名

      c.配置windows Hadoop工具包

        1.拷贝hadoop.dll和winutils.exe至{hadoop_home}/bin下

        2.配置环境变量 HADOOP_HOME=D:softhadoop-2.7.3,PATH=%HADOOP_HOME%in

      d.创建Hadoop工程编写代码

  • 相关阅读:
    利用border-radius画椭圆
    关于使用svg构建六边形蜂巢列表的方式
    JavaScript拖拽效果的原理及实现
    逆战班-JS的形参与实参
    前端面试&笔试汇总
    less学习---less的混合(mixin)
    less学习---less的嵌套规则
    less学习----less变量
    vue-cli3实现将数据导出为Excel表
    js中apply和call方法浅析
  • 原文地址:https://www.cnblogs.com/lyr999736/p/9169159.html
Copyright © 2011-2022 走看看