zoukankan      html  css  js  c++  java
  • Atitit 分布式文件系统 hdfs nfs fastfs 目录 1. 分布式文件系统 1 2. 什么是FastDFS 1 2.1. FastDFS特性: 1 2.1.1. fastdfs是否可在

    Atitit 分布式文件系统 hdfs nfs fastfs

     

    目录

    1. 分布式文件系统 1

    2. 什么是FastDFS 1

    2.1. FastDFS特性: 1

    2.1.1. fastdfs是否可在windows系统下安装?可以的话,哪位可以..._百度知道 2

    3. Nfs 2

    4. hdfs 3

     

    1. 分布式文件系统

    通过独立文件服务器可以解决一些问题,如果某天存储文件的那台服务突然down了怎么办?可能你会说,定时将文件系统备份,这台down机的时候,迅速切换到另一台就OK了,但是这样处理需要人工来干预。另外,当存储的文件超过100T的时候怎么办?单台服务器的性能问题?这个时候我们就应该考虑分布式文件系统了。

    1. 什么是FastDFS

    FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务。

    FastDFS是一款开源的轻量级分布式文件系统纯C实现,支持Linux、FreeBSD等UNIX系统类google FS,不是通用的文件系统,只能通过专有API访问,目前提供了C、Java和PHP API为互联网应用量身定做,解决大容量文件存储问题,追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统,称作分布式文件存储服务更为合适。

      1. FastDFS特性:
    • 文件不分块存储,上传的文件和OS文件系统中的文件一一对应
    • 支持相同内容的文件只保存一份,节约磁盘空间
    • 下载文件支持HTTP协议,可以使用内置Web Server,也可以和其他Web Server配合使用
    • 支持在线扩容
    • 支持主从文件
    • 存储服务器上可以保存文件属性(meta-data)V2.0网络通信采用libevent,支持大并发访问,整体性能更好

     

     

     

        1. fastdfs是否可在windows系统下安装?可以的话,哪位可以..._百度知道

    3个回答 - 回答时间: 2018年3月30日

    [专业]答案:不可以。 1、fastdfs最新版本5.05,还没有在windows系统下安装的fastdfs

     

     

    1. Nfs

     

    4.编写java代码读出远程客户端的文件内容

     

    使用的包有 jftp.jar  

     

    这是包下载路径   http://download.csdn.net/download/kunfd/9935005

     

     

     

     

    import java.io.File;

    import java.io.FileFilter;

    import java.io.IOException;

     

    import com.sun.nfs.XFileExtensionAccessor;

    import com.sun.xfile.*;

    import net.sf.jftp.system.logging.Log;

     

    import java.io.*;

    import java.util.ArrayList;

    import java.util.List;

     

     

     public void coming(String pathname) throws IOException {

            String path[] = pathname.split("/");//切割,如果服务器是unix系统,更改为"\"

            String[] fileList = new String[1024];//设置接收目录扫描的长度,暂时设置为1024

            fileList = xfile.list();//缺少这一句的话,会出现找不到文件的错误

            XFile temp;

            XFileInputStream in = null;

            for(String splittext:path){

                url = url+"/"+splittext;

                temp = new XFile(url);

                  in = new XFileInputStream(temp);

                fileList = temp.list();

            }

            BufferedReader reader = new BufferedReader(new InputStreamReader(in,"GBK"));

            String line;

            while ((line = reader.readLine()) != null) {

                System.out.println(line);

            }

        }

     

        public static void main(String[] args) throws IOException {

            String ip ="172.19.152.32";

            String dir = "nfs";

            NFS nfs = new NFS();

            nfs.NFSconnection(ip,dir);

            nfs.coming("com/gdin/edu/test1.txt");

        }

     

    ---------------------

    1.  hdfs
  • 相关阅读:
    ubuntu下如何关闭某个端口?
    linux如何将某个用户加入到其它组?
    linux如何离线加载docker镜像?
    linux下如何查看当前内核的配置?
    linux下如何单独编译设备树?
    在编译内核之前到底应该使用make mrproper,make distclean,make clean中的哪个命令呢?
    dts是如何来描述iommu与PCI(e)之间的关系?
    iommu是干什么的呢?
    ubuntu下如何使用apt-get安装arm64的交叉编译工具链?
    oracle 10g函数大全--日期型函数
  • 原文地址:https://www.cnblogs.com/attilax/p/15197497.html
Copyright © 2011-2022 走看看