zoukankan      html  css  js  c++  java
  • Hadoop 2.0 安装配置

    1. install jdk

    2. install hadoop.

        安装包hadoop-2.2.0.tar.gz存放在一个目录。并解压。

    3. 修改配置文件,一般配置文件在/etc/hadoop下面。

       (1) hadoop-env.sh修改配置文件:

                 export JAVA_HOME=/home/jdk/jdk_version

         (2)  mapred-site.xml    

               <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
               </property>

         (3) core-site.xml    

                <property>
               <name>fs.default.name</name>
               <value>hdfs://YARN001:8020</value>
               </property>
        (4) yarn-site.xml:

              <property>
            <name>dfs.replication</name>
            <value>1</value>
            </property>


              <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
             </property>
         (5)hdfs-site.xml:
            

         (6) yarn-stie.xml

            

    4. 启动hadoop服务

        a. sbin/start-all.sh 启动所有服务。

        1) bin/hadoop namenode -format 这个命令是格式化整个集群。操作一定要小心。一般只建议搭建时候第一次用。命令一旦运行系统会自动创建hdfs-site.xml中的dfs文件夹

        2) sbin/hadoop-daemon.sh start namenode 启动namenode

        3) sbin/hadoop-daemon.sh start datanode 启动datanode

           http://yarn001:50070 去访问hdfs是否创建成功

        4) sbin/start-yarn.sh 

           http://yarn001:8088 验证yarn是否启动成功

  • 相关阅读:
    一般处理程序页ashx 序列化 Json数组
    SQL server 分页
    MySQL 分页
    获取网站的BaseURL
    java学习书籍推荐
    查询并关闭指定端口进程
    ettercap使用
    MS10-046漏洞利用
    MS12-020漏洞利用
    入侵安卓手机
  • 原文地址:https://www.cnblogs.com/Jesse-Li/p/7243005.html
Copyright © 2011-2022 走看看