zoukankan      html  css  js  c++  java
  • 异步IO一定更好吗?

    http://cnodejs.org/blog/?p=1015

    异步IO一定更好吗?

    本文为原创文章,出自http://cnodejs.org,转载请注明出处和作者
    作者:pengchun
    原文:http://cnodejs.org/blog/?p=611

    在长林的文章《nodejs异步IO的实现》中提到,NodeJS通过libeio来实现IO操作的异步化,而libeio采用多线程的方式来模拟异步操作。

    这里我需要强调一个观点,异步IO虽然是NodeJS一个非常重要的特点,但异步IO并不总是最好的,其他语言也一样。我们来看这么一个例子:

    在我的磁盘上有2个文件,我希望在一个程序里读取这2个文件,每次输出一个字符。请注意,我不要求一定要两个文件被交替着读取,也不要求一定要先读完一个再读另一个。

    怎么样,貌似还没说到问题的实质。那么我们再分几种情况:

    1. “磁盘”是指我的机器上只有一块机械式硬盘,或者有多个硬盘,但被读取的两个文件位于同一块硬盘上;
    2. 被读取的文件位于不同的两个机械式硬盘上;
    3. 被读取的两个文件位于同一块固态硬盘(SSD)上。

    如果你熟悉机械式硬盘的原理,我想已经明白我要说什么了。否则,我们继续往下看。我们知道,传统的机械式硬盘要读取某一个文件,首先要将磁头移动到某个位置(fseek)。这个过程是一个物理运动,所花的时间跟磁盘转速、磁头移动的距离有关。读取一个字节后,磁头顺便移动到紧挨着的下一个字节。我写了一段通过异步方式读取文件的测试代码如下:

    var fs  = require('fs');
    
    function test_stream_read(file, id) {
            var stream      = fs.createReadStream(file, {
                    flags: 'r',
                    encoding: 'utf8',
                    mode: 0666,
                    bufferSize: 1
            });
    
            var tag = "[ " + id + " ] ";
            stream.on('data', function(chunk) {
                    console.log(tag + "data: " + chunk.trim());
            });
    
            console.log(tag + "start");
    }
    
    test_stream_read('/disk1/a.txt', 1);
    test_stream_read('/disk2/b.txt', 2);

    在上面的代码中,我用NodeJS的ReadStream来读取文件,设定的bufferSize为1,即每次读取一个字符。由于NodeJS异步IO的多线程方式,供测试的两个文件在程序逻辑上可以被并行读取。所以影响性能的关键就落在存储介质(磁盘)能否并行处理上了。

    在第一个case中,由于两个文件位于同一块机械式磁盘上,一块磁盘的磁头只有一个,所以只能是顺序的。你会发现,这种情况下磁头在盘面上移来移去,大量时间花在物理运动上,性能不差才怪呢!在这个case里,你还不如让NodeJS阻塞着读文件呢!

    而第二个case中,两个文件位于两块磁盘上,它们之间能互相独立的被操作,实际上落在单个磁盘上的读请求仍然是顺序读取,性能会较好。

    第三个case你自己分析吧,我不多讲了。

    总结一下:

    1. 哪种方式读文件,要根据你的硬件和应用特点来权衡,切忌盲从。我认为要考虑的几点包括:硬盘原理、多少个硬盘、文件放在几个文件上、一次读取多少个文件、文件的平均大小、读取的缓冲区大小。
    2. NodeJS的fs.read方法实际上用的也是ReadStream,只不过bufferSize被写死了,为64K。如果你的文件大小都小于64K,那么你可以简单地忽略上面啰嗦的一大堆文字了。但是,这个原理你得清楚。

    关于这个话题,我希望有更多的讨论和测试代码。欢迎拍砖给我。

  • 相关阅读:
    C++ 面向对象高级开发 -- static
    C++ 面向对象高级开发 -- complex 类的实现
    单独编译PCL的kdtree模块报错“undefined reference to”
    【C++】预处理指令#define,#ifdef,#ifndef,#endif ...
    点云配准(Registration)算法——以PCL为例
    算法岗求职资料汇总
    C++面向对象高级开发
    opencv的常用头文件
    ubuntu下,VSCode采用cmake编译C++工程
    "error while loading shared libraries: xxx.so.x" 错误的原因和解决办法
  • 原文地址:https://www.cnblogs.com/lexus/p/2249517.html
Copyright © 2011-2022 走看看