zoukankan      html  css  js  c++  java
  • [zz]关于文件读写Linux的内存映射解决大文件读写_miao_新浪博客

    [zz]关于文件读写--Linux的内存映射解决大文件读写_miao_新浪博客

    [zz]关于文件读写--Linux的内存映射解决大文件读写_miao_新浪博客

    [zz]关于文件读写--Linux的内存映射解决大文件读写
    (2009-05-27 16:46:00)
    转载▼
    标签:
    杂谈
        分类: C++

    第一组:ifstream与CFile的效率

    From:http://www.cppblog.com/zhangyq/archive/2009/05/19/56034.html

    ifstream是标准C++中的文件输入流,在实际应用中,用它的read方法,是必须缓冲的,效率很低。
    在一次测试中,用它将一个800k的文件一次读入字符串中,和MFC中的CFile类的read方法,效率竟然相差七倍,我用的是VC8,WM5.0的平台,用CFile,不到一秒,用ifstream要快七秒。究其原因,还是两者的机制不同所致。
    ifstream的read、write方法,都是要缓冲的,所谓的缓冲区其实是一段中介内存(临时存储区),如果用户不设定的话,一般是512字节,读或写时先要将数据输送到缓冲区,等到缓冲区满或被刷新时,才将数据传输到设备或文件中。要直接读到内存中(即所谓的内核格式化),要用istringstream类。CFile显然是直接读内存不需要缓冲,所以速度快。
    如果不考虑效率,可以用标准C++的文件输出流,二者的区别文件越大越明显,所以要根据实际运用的需要来选择。C++的灵活性在于它的概念是在实际中体会的,理论也是在实际应用中深化的。

    第二组:Linux内存映射: mmap

    Linux提供了内存映射函数mmap, 它把文件内容映射到一段内存上(准确说是虚拟内存上), 通过对这段内存的读取和修改, 实现对文件的读取和修改, 先来看一下mmap的函数声明:

        头文件:
            <unistd.h>
            <sys/mman.h>
        原型: void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offsize);
        返回值: 成功则返回映射区起始地址, 失败则返回MAP_FAILED(-1).
        参数:
            addr: 指定映射的起始地址, 通常设为NULL, 由系统指定.
            length: 将文件的多大长度映射到内存.
            prot: 映射区的保护方式, 可以是:
                PROT_EXEC: 映射区可被执行.
                PROT_READ: 映射区可被读取.
                PROT_WRITE: 映射区可被写入.
                PROT_NONE: 映射区不能存取.
            flags: 映射区的特性, 可以是:
                MAP_SHARED: 对映射区域的写入数据会复制回文件, 且允许其他映射该文件的进程共享.
                MAP_PRIVATE: 对映射区域的写入操作会产生一个映射的复制(copy-on-write), 对此区域所做的修改不会写回原文件.
                此外还有其他几个flags不很常用, 具体查看linux C函数说明.
            fd: 由open返回的文件描述符, 代表要映射的文件.
            offset: 以文件开始处的偏移量, 必须是分页大小的整数倍, 通常为0, 表示从文件头开始映射.

        下面说一下内存映射的步骤:

        用open系统调用打开文件, 并返回描述符fd.
        用mmap建立内存映射, 并返回映射首地址指针start.
        对映射(文件)进行各种操作, 显示(printf), 修改(sprintf).
        用munmap(void *start, size_t lenght)关闭内存映射.
        用close系统调用关闭文件fd.

    关于linux内存映射 的另一篇文章:

    http://hi.baidu.com/wzt85/blog/item/a11e013e1e1da7f2828b139c.html
  • 相关阅读:
    冲刺五
    ubuntu安装utorrent
    struts2中properties属性
    Hadoop下的word count程序
    导入svn项目时eclipse崩溃
    Struts2 中jsp直接跳转到action
    用eclipse开发hadoop程序
    ubuntu下安装java
    【橙色警报】最新盗qq号方式,连我这个老鸟都一不小心被骗了
    在ubuntu上安装hadoop(书和官方文档结合的)
  • 原文地址:https://www.cnblogs.com/lexus/p/2964182.html
Copyright © 2011-2022 走看看