zoukankan      html  css  js  c++  java
  • Hadoop 2.0 安装配置

    1. install jdk

    2. install hadoop.

        安装包hadoop-2.2.0.tar.gz存放在一个目录。并解压。

    3. 修改配置文件,一般配置文件在/etc/hadoop下面。

       (1) hadoop-env.sh修改配置文件:

                 export JAVA_HOME=/home/jdk/jdk_version

         (2)  mapred-site.xml    

               <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
               </property>

         (3) core-site.xml    

                <property>
               <name>fs.default.name</name>
               <value>hdfs://YARN001:8020</value>
               </property>
        (4) yarn-site.xml:

              <property>
            <name>dfs.replication</name>
            <value>1</value>
            </property>


              <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
             </property>
         (5)hdfs-site.xml:
            

         (6) yarn-stie.xml

            

    4. 启动hadoop服务

        a. sbin/start-all.sh 启动所有服务。

        1) bin/hadoop namenode -format 这个命令是格式化整个集群。操作一定要小心。一般只建议搭建时候第一次用。命令一旦运行系统会自动创建hdfs-site.xml中的dfs文件夹

        2) sbin/hadoop-daemon.sh start namenode 启动namenode

        3) sbin/hadoop-daemon.sh start datanode 启动datanode

           http://yarn001:50070 去访问hdfs是否创建成功

        4) sbin/start-yarn.sh 

           http://yarn001:8088 验证yarn是否启动成功

  • 相关阅读:
    自动化框架总结-2(转)
    svn离线安装以及配置,管理python自动化脚本
    自动化框架总结-1(转)
    pytest参数化、标记用例、生成html报告
    pytest作为前置和后置的使用
    笔记:常用xpath
    read_ini.py
    深入理解python类装饰器和带参数装饰器
    Python 03-Python3基础语法
    Python 02-Python2.x与3.x版本区别
  • 原文地址:https://www.cnblogs.com/Jesse-Li/p/7243005.html
Copyright © 2011-2022 走看看