zoukankan      html  css  js  c++  java
  • Hadoop学习历程(三、第一个程序)

    根据之前的操作,我们已经可以正常的启动Hadoop了,关于真正的集群我会在之后进行说明。现在我们来看一下第一个程序吧

    1. 在eclipse上建立一个java项目

    2. 将 /usr/hadoop/share/hadoop/common/hadoop-common-2.2.0.jar 文件导入到项目中

    3. 将 /usr/hadoop/share/hadoop/common/lib/commons-logging-1.1.1.jar 文件导入到项目中

    4. 编写代码如下

    import java.io.IOException;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    
    public class DFSOperator {
    
        /**
         * @param args
         */
        public static void main(String[] args) {
            Configuration conf = new Configuration();
            try {
                FileSystem fs = FileSystem.get(conf);
                Path f = new Path("hdfs:///dfs_operator.txt");
                FSDataOutputStream s = fs.create(f, true);
                int i = 0;
                for (i = 0; i < 100000; ++i)
                    s.writeChars("test");
                s.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

    5. 项目抓图

    6. 将项目导出成为Jar包 dfsOperator.jar ,可以在如下地址下载

      http://pan.baidu.com/share/link?shareid=3076182544&uk=2517512140

    7. 将Jar包传输到Linux系统中,然后使用如下方法执行

      7.1 查看是否存在dfs_operator.txt文件,如果存在需要先删除掉

    hadoop fs -ls /

        注明:如果要删除文件可以用如下命令 hadoop fs -rm /dfs_operator.txt

      7.2 运行命令生成dfs_operator.txt文件

    hadoop jar dfsOperator.jar DFSOperator

      7.3 运行7.1的命令查看运行效果,如果增加了dfs_operator.txt文件,证明运行成功

  • 相关阅读:
    hadoop yarn
    java 删除文件夹及其里面的文件
    scrapy 429 处理
    java 获取当前时间(年月日时分秒)
    Java测试类
    eclipse环境问题-java版本不兼容
    Java内功修炼系列一工厂模式
    Java内功修炼系列一观察者模式
    Java内功修炼系列一责任链模式
    Java内功修炼系列一拦截器
  • 原文地址:https://www.cnblogs.com/hutou/p/Hadoop3.html
Copyright © 2011-2022 走看看