zoukankan      html  css  js  c++  java
  • 【转载】经典漫画讲解HDFS原理

    分布式文件系统比较出名的有HDFS  和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。


    1、三个部分: 客户端、nameserver(可理解为主控和文件索引,类似linux的inode)、datanode(存放实际数据)

    在 这里,client的形式我所了解的有两种,通过hadoop提供的api所编写的程序可以和hdfs进行交互,另外一种就是安装了hadoop的 datanode其也可以通过命令行与hdfs系统进行交互,如在datanode上上传则使用如下命令行:bin/hadoop fs -put example1 user/chunk/


    2、如何写数据过程





    3、读取数据过程



    4、容错:第一部分:故障类型及其检测方法(nodeserver 故障,和网络故障,和脏数据问题)




    5、容错第二部分:读写容错



    6、容错第三部分:dataNode 失效



    7、备份规则



    8、结束语

  • 相关阅读:
    洛谷P2805 植物大战僵尸
    洛谷P4307 球队收益
    bzoj4842 Delight for a Cat
    洛谷P2053 修车
    bzoj2561 最小生成树
    bzoj3114 LCM Pair Sum
    洛谷P4486 Kakuro
    bzoj3698 XWW的难题
    关于oracle数据库
    toString方法的用法
  • 原文地址:https://www.cnblogs.com/tangkai/p/3478939.html
Copyright © 2011-2022 走看看