zoukankan      html  css  js  c++  java
  • Google File System 学习

    摘要

    Google的人设计并实现了Google File System,一个可升级的分布式文件系统,用于大的分布式数据应用。可以运行在廉价的日用硬件上,具备容错性,且为大量客户端提供了高聚合的性能。

    与之前的分布式文件系统的目标一致,但Google的设计是基于对Google的应用负载和技术环境的观察的,包括当下和可预期的,这与一些早期的文件系统有着显著的不同。这让我们重新审视了传统的选择,并辐射性地探索不同的设计点。

    该文件系统已经成功的满足了我们的存储需求。它被广泛地部署在Google内部作为存储平台,用于生成和处理数据 -- Google的服务以及研究和开发所使用的大量数据。截止到当前(2003年),最大的cluster提供了数以百计TB的存储 -- 通过一千部机器的数以千计的磁盘,且由数以百计的客户端并发访问。

    在该论文中,他们呈现了文件系统接口扩展 -- 被设计成支持分布式应用,还讨论了他们的设计的很多方面,最后报告了测量结果 -- 来自微测试和实际世界的使用。

    类别和主题描述:分布式文件系统。

    主要词条:设计、可靠性、性能、测量。

    关键词:容错性、可升级性、数据存储、集群存储。

    1、介绍

    首先,组件失效是一种常见现象,而非异常现象。文件系统由数以百计甚至数以千计的存储机器组成,而这些机器是由廉价的日常组件构建而成,并由同样数量级的客户端机器访问。组件的数量和质量使得在任何给定时刻都可能有一些机器失效,而又有一些并不能从其当前失效中恢复过来。我们见过有由应用bug、os bug、人为错误、磁盘/内存/连接器/网络/电源供应失效导致的问题。因此,constant 监视、错误探测、容错性、还有自动恢复必须集成到该系统中。

    其次,文件是很巨大的 -- 相对于传统标准来说。几个GB的文件很常见。每个文件都包含很多应用对象,例如web documents。当我们

  • 相关阅读:
    SVN菜单说明
    Jabber Software:Jabber-NET、agsXMPP与Wilefire[转]
    nuget的使用总结
    SET QUOTED_IDENTIFIER ON
    SET ANSI_NULLS ON
    SQL Server性能杀手
    How to open .ccproj in VS2010?
    Bios里,把SATA Mode Selection改为AHCI无法启动
    [转]内嵌WORD/OFFICE的WINFORM程序——DSOFRAMER使用小结
    使用EF连接现有数据库
  • 原文地址:https://www.cnblogs.com/larryzeal/p/6358636.html
Copyright © 2011-2022 走看看