zoukankan      html  css  js  c++  java
  • 【5】namenode启动过程

      1.格式化空间(第一次启动的操作):

    命令:bin/hadoop -format  //用于格式化HDFS,如果不是首次格式化,需要删除下面配置的tmp目录后再进行
    core-site.xml的配置:    //配置了hadoop的temp
      <property>    <name>hadoop.tmp.dir</name>    <value>/usr/local/hadoop/data/tmp</value>    </property>

        * 格式化后就生成fsimage,fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点,其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息;

        * 而edits文件存放的是Hadoop文件系统的所有更新操作的路径,文件系统客户端执行的所以写操作首先会被记录到edits文件中。

        * fsimage和edits的具体路径是:/usr/local/hadoop/data/tmp/dfs/name/current  (当然,下面这张图并不是第一次格式化生成的)

      2.开启namenode节点:首先将fsimage文件的内容加载到内存中,再执行edits的操作。

      3.安全模式状态:namenode启动后,会进入safemode状态,等校验datanode的block(块)达到阈值的时候才会关闭。安全模式下只能进行查看操作,不能改变命名空间。

                (手动进入和离开的方式:bin/hdfs dfsadmin -safremode enter/leave

                      通常会采用:bin/hdfs dfsadmin -safremode get  查看当前是否处于安全模式,然后进行下一步操作)

      4.开启datanode节点

  • 相关阅读:
    djano框架根据小牛深入研究
    python raise 是啥东西
    python调request报错
    python当前时间,时间偏移
    写好了,定时任务,怎么让定时任务,去在服务器上跑?
    python实现定时任务-目的解决自动化造数据
    django-celery
    Fruits【水果】
    The Extinction of Some Languages【一些语言的消失】
    Dawson City【道森市】
  • 原文地址:https://www.cnblogs.com/winv758241/p/6733330.html
Copyright © 2011-2022 走看看