zoukankan      html  css  js  c++  java
  • 【大数据系列】HDFS文件权限和安全模式、安装

    HDFS文件权限

    1、与linux文件权限类型

    r:read w:write x:execute权限x对于文件忽略,对于文件夹表示是否允许访问其内容

    2、如果linux系统用户sanglp使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是sanglp

    3、HDFS的权限目的:阻止好人做错事,而不是阻止坏人做坏事。

    安全模式

    1、 namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。

    2、 一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。

    3、 此刻namenode运行在安全模式。即namenode的文件系统对于客户端来说是只读的(显示目录、显示文件内容等。写、删除、重命名都会失败)

    4、 在此阶段Namenode手机各个datanode的报告,当数据块达到最小副本数以上时,会被认为是“安全”的,在一定比例(可设置)的数据块被确定为“安全”后,再过若干时间,安全模式结束

    5、 当检测到副本数不足的数据块时,该块会被复制直到最小副本数,系统中数据块的位置并不是由namenode维护的,而是以块列表示形式存储在datanode中。

    HDFS安装

    1、 伪分布式安装

    2、 完全分布式安装

    • 下载
    • 解压
    • 检查java和ssh的免密码登陆
    • 修改core-site.xml
    • 修改hdfs-site.xml
    • 修改master文件和slaves文件
    • 格式化namenode
    • start-hdfs.sh启动

    3、 按照文档安装

           编辑core-site.xml  (默认core-default.xml里有使用到的变量 fs.default.name配置的是NameNode的主机和入口)

    编辑hdfs-site.xml(副本数是小于或等于DataNode的节点数的 hdfs-default.xml)

    编辑slaves(配置datanode的ip信息)

    修改masters(配置secondary NameNode 配置主机名或ip )

    配置免密登陆是为了在任何一台机器上可以操作所有的节点

    只启动hdfs的时候使用start-dfs.sh

    需要在hadoop/conf/Hadoop-env.sh中配置JAVA_HOME

    如果namenode启动的时候显示别的dataNode已经启动,但是别的主机上jps没有启动则关闭防火墙重新启动。

    之后访问http://node1:50070查看详情NameNode DataNode等信息

  • 相关阅读:
    什么是模板缓冲(Stencil Buffer)
    linux的source命令
    设置屏幕不被锁屏
    【转】OpenGL ES EGL & TLS(线程局部存储) & G3D
    [转]OpenGL混色介绍
    【转】Android 启动过程汇总
    Analyzing the memory usage of your Android application
    【转】EGL接口介绍(转)
    Android 核心分析(13) Android GWES之Android窗口治理
    /dev/zero和/dev/null的区别
  • 原文地址:https://www.cnblogs.com/dream-to-pku/p/7183799.html
Copyright © 2011-2022 走看看