zoukankan      html  css  js  c++  java
  • Hadoop 2.0 安装配置

    1. install jdk

    2. install hadoop.

        安装包hadoop-2.2.0.tar.gz存放在一个目录。并解压。

    3. 修改配置文件,一般配置文件在/etc/hadoop下面。

       (1) hadoop-env.sh修改配置文件:

                 export JAVA_HOME=/home/jdk/jdk_version

         (2)  mapred-site.xml    

               <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
               </property>

         (3) core-site.xml    

                <property>
               <name>fs.default.name</name>
               <value>hdfs://YARN001:8020</value>
               </property>
        (4) yarn-site.xml:

              <property>
            <name>dfs.replication</name>
            <value>1</value>
            </property>


              <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
             </property>
         (5)hdfs-site.xml:
            

         (6) yarn-stie.xml

            

    4. 启动hadoop服务

        a. sbin/start-all.sh 启动所有服务。

        1) bin/hadoop namenode -format 这个命令是格式化整个集群。操作一定要小心。一般只建议搭建时候第一次用。命令一旦运行系统会自动创建hdfs-site.xml中的dfs文件夹

        2) sbin/hadoop-daemon.sh start namenode 启动namenode

        3) sbin/hadoop-daemon.sh start datanode 启动datanode

           http://yarn001:50070 去访问hdfs是否创建成功

        4) sbin/start-yarn.sh 

           http://yarn001:8088 验证yarn是否启动成功

  • 相关阅读:
    mongo复制集
    s10d71_分组查询_分页_cookie_session_装饰器
    s10_part3_django_ORM_查询相关_非常重要
    s10_part3_django_html模板_view_model
    s10_part3_django_project_library
    记录替换calico为flannel的过程
    kubelet证书过期解决方法
    css
    ubuntu 20.04 ibus添加五笔输入法
    马哥k8s
  • 原文地址:https://www.cnblogs.com/Jesse-Li/p/7243005.html
Copyright © 2011-2022 走看看