zoukankan      html  css  js  c++  java
  • HDFS 笔记

    HDFS

    Hadoop fs命令、

      hadoop fs <>

    三节点集群搭建。

    本地文件系统与hdfs相隔离。

    hdfs dfs <>

    start-all.sh在哪里?

    cd $HADOOP

    /opt/bigdata/hadop-2.7.3/etc/hadoop

    slaves文件内容 看一看。

    ssh node-02 -> datanode

    ???

    jsp查看进程

    hdfs原理:(面试)

    fault recovery

    每个快都会有副本。128M最大切分。

    一个datanode对应一个机器?

    hdfs-site.xml配置

    configuration

    文档:https://hadoop.apache.org/docs/r2.7.3

    blk保存在机架的灵活性,如何配置。

    机架感知。 

    副本零时性增多,提高吞吐量。

    hadoop fs -settrep -R 4 /path

    hdfa fsck /salary.txt -files -bllocks -locations

    通过网页也可以查看:node-01:50070

    4 HDFS 主从架构

    读取方式

    B1->dn1, dn2, dn3

    B2->dn4,dn2, dn1

    元数据->namenode 内存 namenode取回然后去各个block,组成hadoop.dat

    HDFS适合大文件

    HDFS有上限,因为每个元数据150Byte,而内存是有限的,故适合储存大文件

    HDFS会将内存储存在硬盘上为了安全

    Fsimage

    Edits log

    Secondary namenode

    双缓存异步写

    当t-t1>1h 触发Check-point

     

    心跳机制

    10min以上 视为datanode挂掉

    1小时 block report

    短路径

     官网

    负载均衡

    磁盘利用率差值变小

  • 相关阅读:
    Ajax请求如何设置csrf_token
    js和jQuery实现的Ajax
    Ajax简介
    JSON
    Django基础之中间件的执行流程
    Django基础之中间件
    Django基础之ModelForm
    Django基础之form表单的补充进阶
    APK的反编译(获取代码和资源文件)
    Smali语法基础
  • 原文地址:https://www.cnblogs.com/cschen588/p/11717627.html
Copyright © 2011-2022 走看看