zoukankan      html  css  js  c++  java
  • 启动 HDFS 并运行 MapReduce 程序(伪分布式模式)

    配置集群

    配置hadoop-env.sh

    Linux系统中获取JDK的安装路径

    [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME
    /opt/module/jdk1.8.0_144
    

    修改JAVA_HOME路径

    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/hadoop-env.sh
    
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    

    配置core-site.xml

    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/core-site.xml 
    
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
    <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    
    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
    

    配置hdfs-site.xml

    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/hdfs-site.xml 
    
    <!-- 指定HDFS副本的数量 -->
    <property>
    	<name>dfs.replication</name>
    	<value>1</value>
    </property>
    

    启动集群

    格式化NameNode(不要经常格式化)

    [xiaoran@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format
    

    启动NameNode

    [xiaoran@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
    

    启动DataNode

    [xiaoran@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
    

    注意:格式化 namenode 之前要先关掉 namenode ,并删掉 data 和 logs 。


    查看集群

    查看是否启动成功

    [xiaoran@hadoop101 hadoop-2.7.2]$ jps
    15159 NameNode
    15322 Jps
    15245 DataNode
    

    注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps

    web端查看HDFS文件系统

    192.168.229.101:50070


    dfs命令例子

    bin/hdfs dfs -mkdir -p /user/xiaoran/input
    bin/hdfs dfs -ls /
    bin/hdfs dfs -ls -R /
    
    # 文件上传到hdfs
    bin/hdfs dfs -put wcinput/wc.input /user/xiaoran/input
    

    集群操作

    命令:

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/xiaoran/input /user/xiaoran/output
    

    注意:/user/xiaoran/output 事先不能创建。

  • 相关阅读:
    Unity 摄像机Clear Flags和Culling Mask属性用途详解
    Unity 坐标系
    Unity 模型导入导出
    Unity 序列化
    正确理解静态Static关键字
    Unity 中的协同程序
    Asp.Net中调用存储过程并返回输出参数
    php学习知识点
    Jauery 中Ajax的几种异步请求
    2014年12月21号面试
  • 原文地址:https://www.cnblogs.com/xiaoran991/p/13878849.html
Copyright © 2011-2022 走看看