zoukankan      html  css  js  c++  java
  • nodejspost文件上传原理详解

    转自:http://cnodejs.org/topic/4f16442ccae1f4aa270010ad

    基础知识


    简单介绍下,如下图: 

     

    其中请求报文中的开始行和首部行包含了常见的各种信息,比如http协议版本,方法(GET/POST),accept-language,cookie等等。 而'实体主体'一般在post中使用,比如我们用表单上传文件,文件数据就是在这个'实体主体'当中。 

     

    引子

     



    写这篇教程的起因是因为在学习nodejs的过程中,想要自己实现一些文件上传的功能,于是不得不去研究POST。 

    如果你写过一点PHP,那么你肯定记得,在PHP里面,进行文件上传的时候,我们可以直接使用全局变量 $_FILE['name' ]来获取已经被临时存储的文件信息。 

    但是实际上,POST数据实体,会根据数据量的大小进行分包传送,然后再从这些数据包里面分析出哪些是文件的元数据,那些是文件本身的数据。 

    PHP是底层做了封装,但是在nodejs里面,这个看似常见的功能却是需要自己来实现的。这篇文章主要就是介绍如何使用nodejs来解析post数据。 

     

    正文

     



    总体上来说,对于post文件上传这样的过程,主要有以下几个部分: 


      • 获取http请求报文肿的头部信息,我们可以从中获得是否为POST方法,实体主体的总大小,边界字符串等,这些对于实体主体数据的解析都是非常重要的


      • 获取POST数据(实体主体)


      • 对POST数据进行解析


      • 将数据写入文件


     

    获取http请求报文头部信息

     



    利用nodejs中的 http.ServerRequest中获取1)


      • request.method


    用来标识请求类型 


      • request.headers




    其中我们关心两个字段: 


      • content-type


    包含了表单类型和边界字符串(下面会介绍)信息。 


      • content-length


    post数据的长度 

     

    关于content-type

     




      • get请求的headers中没有content-type这个字段


      • post 的 content-type 有两种



          1. application/x-www-form-urlencoded 
            这种就是一般的文本表单用post传地数据,只要将得到的data用querystring解析下就可以了


          1. multipart/form-data 
            文件表单的传输,也是本文介绍的重点




     

    获取POST数据

     



    前面已经说过,post数据的传输是可能分包的,因此必然是异步的。post数据的接受过程如下: 
        var postData = '';
    
    request.addListener("data", function(postDataChunk) { // 有新的数据包到达就执行
    postData += postDataChunk;
    console.log("Received POST data chunk '"+
    postDataChunk + "'.");
    });

    request.addListener("end", function() { // 数据传输完毕
    console.log('post data finish receiving: ' + postData );
    });

    注意,对于非文件post数据,上面以字符串接收是没问题的,但其实 postDataChunk 是一个 buffer 类型数据,在遇到二进制时,这样的接受方式存在问题。 

     

    POST数据的解析(multipart/form-data)

     



    在解析POST数据之前,先介绍一下post数据的格式: 

     

    multipart/form-data类型的post数据

     



    例如我们有表单如下 
    <FORM action="http://server.com/cgi/handle"
    
    enctype="multipart/form-data"
    method="post">
    <P>
    What is your name? <INPUT type="text" name="submit-name"><BR>
    What files are you sending? <INPUT type="file" name="files"><BR>
    <INPUT type="submit" value="Send"> <INPUT type="reset">
    FORM>

    若用户在text字段中输入‘Neekey',并且在file字段中选择文件‘text.txt',那么服务器端收到的post数据如下: 
       --AaB03x
    
    Content-Disposition: form-data; name="submit-name"

    Neekey
    --AaB03x
    Content-Disposition: form-data; name="files"; filename="file1.txt"
    Content-Type: text/plain

    ... contents of file1.txt ...
    --AaB03x--

    若file字段为空: 
       --AaB03x
    
    Content-Disposition: form-data; name="submit-name"

    Neekey
    --AaB03x
    Content-Disposition: form-data; name="files"; filename=""
    Content-Type: text/plain

    --AaB03x--

    若将file 的 input修改为可以多个文件一起上传: 
    <FORM action="http://server.com/cgi/handle"
    
    enctype="multipart/form-data"
    method="post">
    <P>
    What is your name? <INPUT type="text" name="submit-name"><BR>
    What files are you sending? <INPUT type="file" name="files" multiple="multiple"><BR>
    <INPUT type="submit" value="Send"> <INPUT type="reset">
    FORM>

    那么在text中输入‘Neekey',并在file字段中选中两个文件’a.jpg'和'b.jpg'后: 
       --AaB03x
    
    Content-Disposition: form-data; name="submit-name"

    Neekey
    --AaB03x
    Content-Disposition: form-data; name="files"; filename="a.jpg"
    Content-Type: image/jpeg

    /* data of a.jpg */
    --AaB03x
    Content-Disposition: form-data; name="files"; filename="b.jpg"
    Content-Type: image/jpeg

    /* data of b.jpg */
    --AaB03x--

    // 可以发现 两个文件数据部分,他们的name值是一样的

     

    数据规则

     



    简单总结下post数据的规则 


      1. 不同字段数据之间以边界字符串分隔: 
         --boundary\r\n // 注意,如上面的headers的例子,分割字符串应该是 ------WebKitFormBoundaryuP1WvwP2LyvHpNCi\r\n


      1. 每一行数据用”CR LF”(\r\n)分隔


      1. 数据以 边界分割符 后面加上 –结尾,如: 
         ------WebKitFormBoundaryuP1WvwP2LyvHpNCi--\r\n


      1. 每个字段数据的header信息(content-disposition/content-type)和字段数据以一个空行分隔: 
        \r\n\r\n


    更加详细的信息可以参考W3C的文档Forms,不过文档中对于 multiple=“multiple” 的文件表单的post数据格式使用了二级边界字符串,但是在实际测试中,multiple类型的表单和多个单文件表单上传数据的格式一致,有更加清楚的可以交流下: 
    If the user selected a second (image) file "file2.gif", the user agent might construct the parts as follows:
    

    Content-Type: multipart/form-data; boundary=AaB03x

    --AaB03x
    Content-Disposition: form-data; name="submit-name"

    Larry
    --AaB03x
    Content-Disposition: form-data; name="files"
    Content-Type: multipart/mixed; boundary=BbC04y

    --BbC04y
    Content-Disposition: file; filename="file1.txt"
    Content-Type: text/plain

    ... contents of file1.txt ...
    --BbC04y
    Content-Disposition: file; filename="file2.gif"
    Content-Type: image/gif
    Content-Transfer-Encoding: binary

    ...contents of file2.gif...
    --BbC04y--
    --AaB03x--

     

    数据解析基本思路

     




      • 必须使用buffer来进行post数据的解析 
        利用文章一开始的方法(data += chunk, data为字符串 ),可以利用字符串的操作,轻易地解析出各自端的信息,但是这样有两个问题:



          • 文件的写入需要buffer类型的数据


          • 二进制buffer转化为string,并做字符串操作后,起索引和字符串是不一致的(若原始数据就是字符串,一致),因此是先将不总的buffer数据的toString()复制给一个字符串,再利用字符串解析出个数据的start,end位置这样的方案也是不可取的。




      • 利用边界字符串来分割各字段数据


      • 每个字段数据中,使用空行(\r\n\r\n)来分割字段信息和字段数据


      • 所有的数据都是以\r\n分割


      • 利用上面的方法,我们以某种方式确定了数据在buffer中的start和end,利用buffer.splice( start, end ) 便可以进行文件写入了


     

    文件写入

     



    比较简单,使用 File System 模块(nodejs的文件处理,我很弱很弱….) 
        var fs = new require( 'fs' ).writeStream,
    
    file = new fs( filename );
    fs.write( buffer, function(){
    fs.end();
    });

     

    node-formidable模块源码分析

     



    node-formidable是比较流行的处理表单的nodejs模块。github主页 

    项目中的lib目录 
    lib
    
    |-file.js
    |-incoming_form.js
    |-index.js
    |-multipart_parser.js
    |-querystring_parser.js
    |-util.js

     

    各文件说明

     

    file.js

     



    file.js主要是封装了文件的写操作 

     

    incoming_from.js

     



    模块的主体部分 

     

    multipart_parser.js

     



    封装了对于POST数据的分段读取与解析的方法 

     

    querystring_parser.js

     



    封装了对于GET数据的解析 

     

    总体思路

     



    与我上面提到的思路不一样,node-formidable是边接受数据边进行解析。 



    上面那种方式是每一次有数据包到达后, 添加到buffer中,等所有数据都到齐后,再对数据进行解析.这种方式,在每次数据包到达的间隙是空闲的. 

    第二种方式使用边接收边解析的方式,对于大文件来说,能大大提升效率. 

    模块的核心文件主要是 multipart_parser.js 和 incoming_from.js 两个文件, 宏观上, multipartParser 用于解析数据, 比如给定一个buffer, 将在解析的过程中调用相应的回调函数.比如解析到字段数据的元信息(文件名,文件类型等), 将会使用 this.onHeaderField( buffer, start, end ) 这样的形式来传输信息. 而这些方法的具体实现则是在 incoming_form.js 文件中实现的. 下面着重对这两个文件的源码进行分析 

     

    multipart_form.js

     



    这个模块是POST数据接受的核心。起核心思想是对每个接受到的partData进行解析,并触发相应时间,由于每次write方法的调用都将产生内部私有方法,所以partData将会被传送到各个触发事件当中,而触发事件(即对于partData的具体处理)的具体实现则是在incoming_form中实现,从这一点来说,两个模块是高度耦合的。 

    multipart_form 的源码读起来会比较吃力。必须在对post数据结构比较清楚的情况下,在看源码。 

    源码主要是四个部分: 


      • 全局变量(闭包内)


      • 构造函数


      • 初始化函数(initWithBoundary)


      • 解析函数(write)


    其中全局变量,构造函数比较简单。 

    初始化函数用 用传进的 边界字符串 构造boundary的buffer,主要用于在解析函数中做比较。 下面主要介绍下解析函数 

     

    几个容易迷惑的私有方法

     




      • make( name )


    将当前索引(对buffer的遍历)复制给 this[ name ]. 这个方法就是做标记,用于记录一个数据段在buffer中的开始位置 


      • callback( name , buffer, start, end )


    调用this的onName方法,并传入buffer和start以及end三个参数。 比如当文件post数据中的文件部分的数据解析完毕,则通过callback( 'partData', buffer, start, end ) 将该数据段的首尾位置和buffer传递给 this.onPartData 方法,做进一步处理。 


      • dataCallback( name, clear )


    前面的callback,如果不看后面的三个参数,其本质不过是一个调用某个方法的桥接函数。而dataCallback则是对callback的一个封装,他将start和end传递给callback。 

    从源码中可以看到,start是通过mark(name)的返回值获得,而end则可能是当前遍历到的索引或者是buffer的末尾。 

    因此dataCallback被调用有二种情况: 


      1. 在解析的数据部分的末尾在当前buffer的内部,这个时候mark记录的开始点和当前遍历到的i这个区段就是需要的数据,因此start = mark(name), end = i, 并且由于解析结束,需要将mark清除掉。


      1. 在当前buffer内,解析的数据部分尚未解析完毕(剩下的内容在下一个buffer里),因此start = mark(name), end = buffer.length


     

    解析的主要部分

     



    解析的主要部分是对buffer进行遍历,然后对于每一个字符,都根据当前的状态进行switch的各个case进行操作。 

    switch的每一个case都是一个解析状态。 

    具体看源码和注释,然后对照post的数据结构就会比较清楚。 

    其中 在状态:S.PART_DATA 这边,node-formidable做了一些处理,应该是针对 文章一开始介绍post数据格式中提到的 二级边界字符串 类型的数据处理。我没有深究,有兴趣的可以再研究下。 
    var Buffer = require('buffer').Buffer,
    
    s = 0,
    S =
    { PARSER_UNINITIALIZED: s++, // 解析尚未初始化
    START: s++, // 开始解析
    START_BOUNDARY: s++, // 开始找到边界字符串
    HEADER_FIELD_START: s++, // 开始解析到header field
    HEADER_FIELD: s++,
    HEADER_VALUE_START: s++, // 开始解析到header value
    HEADER_VALUE: s++,
    HEADER_VALUE_ALMOST_DONE: s++, // header value 解析完毕
    HEADERS_ALMOST_DONE: s++, // header 部分 解析完毕
    PART_DATA_START: s++, // 开始解析 数据段
    PART_DATA: s++,
    PART_END: s++,
    END: s++,
    },

    f = 1,
    F =
    { PART_BOUNDARY: f,
    LAST_BOUNDARY: f *= 2,
    },

    /* 一些字符的ASCII值 */
    LF = 10,
    CR = 13,
    SPACE = 32,
    HYPHEN = 45,
    COLON = 58,
    A = 97,
    Z = 122,

    /* 将所有大写小写字母的ascii一律转化为小写的ascii值 */
    lower = function(c) {
    return c | 0x20;
    };

    for (var s in S) {
    exports[s] = S[s];
    }

    /* 构造函数 */
    function MultipartParser() {
    this.boundary = null;
    this.boundaryChars = null;
    this.lookbehind = null;
    this.state = S.PARSER_UNINITIALIZED;

    this.index = null;
    this.flags = 0;
    };
    exports.MultipartParser = MultipartParser;

    /* 给定边界字符串以初始化 */
    MultipartParser.prototype.initWithBoundary = function(str) {
    this.boundary = new Buffer(str.length+4);
    this.boundary.write('\r\n--', 'ascii', 0);
    this.boundary.write(str, 'ascii', 4);
    this.lookbehind = new Buffer(this.boundary.length+8);
    this.state = S.START;

    this.boundaryChars = {};
    for (var i = 0; i < this.boundary.length; i++) {
    this.boundaryChars[this.boundary[i]] = true;
    }
    };

    /* 每个数据段到达时的处理函数 */
    MultipartParser.prototype.write = function(buffer) {
    var self = this,
    i = 0,
    len = buffer.length,
    prevIndex = this.index,
    index = this.index,
    state = this.state,
    flags = this.flags,
    lookbehind = this.lookbehind,
    boundary = this.boundary,
    boundaryChars = this.boundaryChars,
    boundaryLength = this.boundary.length,
    boundaryEnd = boundaryLength - 1,
    bufferLength = buffer.length,
    c,
    cl,

    /* 标记了name这个标记点的buffer偏移 */
    mark = function(name) {
    self[name+'Mark'] = i;
    },
    /* 清除标记 */
    clear = function(name) {
    delete self[name+'Mark'];
    },
    /* 回调函数,将调用onName,并传入对应的buffer和对应的offset区间,可知这些回调都在 incoming_form 模块中被具体实现 */
    callback = function(name, buffer, start, end) {
    if (start !== undefined && start === end) {
    return;
    }

    var callbackSymbol = 'on'+name.substr(0, 1).toUpperCase()+name.substr(1);
    if (callbackSymbol in self) {
    self[callbackSymbol](buffer, start, end);
    }
    },
    /* 数据回调 */
    dataCallback = function(name, clear) {
    var markSymbol = name+'Mark';
    if (!(markSymbol in self)) {
    return;
    }

    if (!clear) {
    /* 传入回调的名称,buffer,buffer的开始位置(可见mark方法就是用来存储offset的),end为数据的重点 */
    callback(name, buffer, self[markSymbol], buffer.length);
    self[markSymbol] = 0;
    } else {
    /* 区别是 end 的值为i,在一个数据已经判断到达其结束位置时,就删除这个mark点,因为这个时候已经知道了这个数据的起始位置 */
    callback(name, buffer, self[markSymbol], i);
    delete self[markSymbol];
    }
    };

    /* 对buffer逐个字节遍历,进行解析判断,并触发相应事件 */
    for (i = 0; i < len; i++) {
    c = buffer[i];
    switch (state) {
    case S.PARSER_UNINITIALIZED:
    return i;
    case S.START:
    index = 0;
    state = S.START_BOUNDARY;
    case S.START_BOUNDARY:
    /**
    * 对于边界的判断 ====
    * 这里看了很多次,一直很迷惑
    * 因为首先:除了最后一个边界字符串,其他(包括第一个边界字符串)都是这个样子:
    * --boundary\r\t
    * 但是在初始化函数中,对于this.boundary的赋值是这样的:
    * \r\n--boundary
    *
    * 但是仔细看下面部分的代码,作者只是为了初始化方便,或者出于其他的考虑
    */

    /**
    * 判断是否到了边界字符串的结尾\r处
    * 如果当前字符与 \r不匹配,则return ,算是解析出错了
    * 注意,虽然this.boundary != --boundary\r\n 但是长度是一致的,因此这里的判断是没有问题的
    */
    if (index == boundary.length - 2) {
    if (c != CR) {
    return i;
    }
    index++;
    break;
    }
    /**
    * 判断是否到了边界字符串的结尾\n处
    * 如果是,则置index = 0
    * 回调 partBegin,并将状态设置为还是header 的 field 信息的读取状态
    */
    else if (index - 1 == boundary.length - 2) {
    if (c != LF) {
    return i;
    }
    index = 0;
    callback('partBegin');
    state = S.HEADER_FIELD_START;
    break;
    }

    /**
    * 除了boundary的最后的\r\n外,其他字符都要进行检查
    * 注意这里用的是 index+2 进行匹配,证实了
    * 作者是因为某种意图将 boundary设置成\r\n--boundary的形式
    * (其实这种形式也没有错,对处第一个边界字符串外的其他边界字符串,这个形式都是适用的)
    */
    if (c != boundary[index+2]) {
    return i;
    }
    index++;
    break;
    /* 对于header field的扫描开始,这里记录了标记了开始点在buffer中的位置 */
    case S.HEADER_FIELD_START:
    state = S.HEADER_FIELD;
    mark('headerField');
    index = 0;
    /* header field的扫描过程 */
    case S.HEADER_FIELD:
    /* 这里是header和data中间的那个空行,所以第一个字符就是\r */
    if (c == CR) {
    clear('headerField');
    state = S.HEADERS_ALMOST_DONE;
    break;
    }

    index++;
    /* 如果是小横线 '-' 比如在 Content-Disposition */
    if (c == HYPHEN) {
    break;
    }
    /**
    * 如果是冒号,那么说明 field结束了
    * dataCallback,注意第二个参数为true,则它将调用this.onHeaderField,并且将buffer,start(之前mark(headerField)记录的位置),end(当前的i)传递过去,最后将这个mark清理掉
    * 之后进入 header value 的开始阶段
    */
    if (c == COLON) {
    if (index == 1) {
    // empty header field
    return i;
    }
    dataCallback('headerField', true);
    state = S.HEADER_VALUE_START;
    break;
    }

    /**
    * 对于所有其他不是冒号和小横线的字符,必须为字母,否则解析结束
    */
    cl = lower(c);
    if (cl < A || cl > Z) {
    return i;
    }
    break;
    /**
    * value 的读取开始
    * 做记号,设置state
    */
    case S.HEADER_VALUE_START:
    if (c == SPACE) {
    break;
    }

    mark('headerValue');
    state = S.HEADER_VALUE;
    /**
    * value 的分析阶段
    */
    case S.HEADER_VALUE:
    /**
    * 如果是 \r,则value结束
    * 同样是调用 dataCallback,参数为true
    * 注意这里还 callback了 headerEnd,没有给定任何参数,这里是作为一个trigger抛出一行header结束的事件
    */
    if (c == CR) {
    dataCallback('headerValue', true);
    callback('headerEnd');
    state = S.HEADER_VALUE_ALMOST_DONE;
    }
    break;
    /**
    * value 结束的检查,之前是检查到了 \r ,如果下一个字符不是 \n 肯定问题
    * 一个value结束,可能下面还是一行header,所以不会直接 header done,而是重新进入扫描 fields的阶段
    */
    case S.HEADER_VALUE_ALMOST_DONE:
    if (c != LF) {
    return i;
    }
    state = S.HEADER_FIELD_START;
    break;
    /**
    * 同样是先检查一下字符是否有误(看一下 case S.HEADER_FIELD 的第一个if )
    * 抛出headers解析完毕的事件
    */
    case S.HEADERS_ALMOST_DONE:
    if (c != LF) {
    return i;
    }

    callback('headersEnd');
    state = S.PART_DATA_START;
    break;
    /**
    * 开始解析post数据
    * 设置状态,做记号
    */
    case S.PART_DATA_START:
    state = S.PART_DATA
    mark('partData');
    /**
    * 进入post数据的解析状态
    * 上一次设置index是在 HEADER_FIELD_START中设置为0
    */
    case S.PART_DATA:

    prevIndex = index;

    if (index == 0) {
    // boyer-moore derrived algorithm to safely skip non-boundary data
    i += boundaryEnd;
    while (i < bufferLength && !(buffer[i] in boundaryChars)) {
    i += boundaryLength;
    }
    i -= boundaryEnd;
    c = buffer[i];
    }

    if (index < boundary.length) {
    if (boundary[index] == c) {
    if (index == 0) {
    dataCallback('partData', true);
    }
    index++;
    } else {
    index = 0;
    }
    } else if (index == boundary.length) {
    index++;
    if (c == CR) {
    // CR = part boundary
    flags |= F.PART_BOUNDARY;
    } else if (c == HYPHEN) {
    // HYPHEN = end boundary
    flags |= F.LAST_BOUNDARY;
    } else {
    index = 0;
    }
    } else if (index - 1 == boundary.length) {
    if (flags & F.PART_BOUNDARY) {
    index = 0;
    if (c == LF) {
    // unset the PART_BOUNDARY flag
    flags &= ~F.PART_BOUNDARY;
    callback('partEnd');
    callback('partBegin');
    state = S.HEADER_FIELD_START;
    break;
    }
    } else if (flags & F.LAST_BOUNDARY) {
    if (c == HYPHEN) {
    callback('partEnd');
    callback('end');
    state = S.END;
    } else {
    index = 0;
    }
    } else {
    index = 0;
    }
    }

    if (index > 0) {
    // when matching a possible boundary, keep a lookbehind reference
    // in case it turns out to be a false lead
    lookbehind[index-1] = c;
    } else if (prevIndex > 0) {
    // if our boundary turned out to be rubbish, the captured lookbehind
    // belongs to partData
    callback('partData', lookbehind, 0, prevIndex);
    prevIndex = 0;
    mark('partData');

    // reconsider the current character even so it interrupted the sequence
    // it could be the beginning of a new sequence
    i--;
    }

    break;
    case S.END:
    break;
    default:
    return i;
    }
    }
    /**
    * 下面这三个是在当前数据段解析完全后调用的。
    * 如果一个数据部分(比如如field信息)已经在上面的解析过程中解析完毕,那么自然已经调用过clear方法,那下面的dataCallback将什么也不做
    * 否则,下面的调用将会把这次数据段中的数据部分传递到回调函数中
    */
    dataCallback('headerField');
    dataCallback('headerValue');
    dataCallback('partData');

    this.index = index;
    this.state = state;
    this.flags = flags;

    return len;
    };

    MultipartParser.prototype.end = function() {
    if (this.state != S.END) {
    return new Error('MultipartParser.end(): stream ended unexpectedly');
    }
    };

     

    incoming_form.js

     





    上图是incoming_form解析的主要过程(文件类型),其中 

     

    parse

     



    根据传入的requeset对象开始启动整个解析的过程 


      • writeHeaders


    从request对象中获取post数据长度,解析出边界字符串,用来初始化multipartParser 


      • 为request对象添加监听事件


     

    write

     



    request对象的 'data'时间到达会调用该方法,而write方法实质上是调用multipartParser.write 

     

    _initMultipart

     



    利用边界字符串初始化multipartParser,并实现在multipart_form.js中write解析方法中会触发的事件回调函数 

    具体细节看源码会比较清楚。 
    if (global.GENTLY) require = GENTLY.hijack(require);
    

    var util = require('./util'),
    path = require('path'),
    File = require('./file'),
    MultipartParser = require('./multipart_parser').MultipartParser,
    QuerystringParser = require('./querystring_parser').QuerystringParser,
    StringDecoder = require('string_decoder').StringDecoder,
    EventEmitter = require('events').EventEmitter;

    function IncomingForm() {
    if (!(this instanceof IncomingForm)) return new IncomingForm;
    EventEmitter.call(this);

    this.error = null;
    this.ended = false;

    this.maxFieldsSize = 2 * 1024 * 1024; // 设置最大文件限制
    this.keepExtensions = false;
    this.uploadDir = '/tmp'; // 设置文件存放目录
    this.encoding = 'utf-8';
    this.headers = null; // post请求的headers信息
    // 收到的post数据类型(一般的字符串数据,还是文件)
    this.type = null;

    this.bytesReceived = null; // 已经接受的字节
    this.bytesExpected = null; // 预期接受的字节

    this._parser = null;
    this._flushing = 0;
    this._fieldsSize = 0;
    };
    util.inherits(IncomingForm, EventEmitter);
    exports.IncomingForm = IncomingForm;

    IncomingForm.prototype.parse = function(req, cb) {
    // 每次调用都重新建立方法,用于对req和cb的闭包使用
    this.pause = function() {
    try {
    req.pause();
    } catch (err) {
    // the stream was destroyed
    if (!this.ended) {
    // before it was completed, crash & burn
    this._error(err);
    }
    return false;
    }
    return true;
    };

    this.resume = function() {
    try {
    req.resume();
    } catch (err) {
    // the stream was destroyed
    if (!this.ended) {
    // before it was completed, crash & burn
    this._error(err);
    }
    return false;
    }

    return true;
    };

    // 记录下headers信息
    this.writeHeaders(req.headers);

    var self = this;
    req
    .on('error', function(err) {
    self._error(err);
    })
    .on('aborted', function() {
    self.emit('aborted');
    })
    // 接受数据
    .on('data', function(buffer) {
    self.write(buffer);
    })
    // 数据传送结束
    .on('end', function() {
    if (self.error) {
    return;
    }

    var err = self._parser.end();
    if (err) {
    self._error(err);
    }
    });

    // 若回调函数存在
    if (cb) {
    var fields = {}, files = {};
    this
    // 一个字段解析完毕,触发事件
    .on('field', function(name, value) {
    fields[name] = value;
    })
    // 一个文件解析完毕,处罚事件
    .on('file', function(name, file) {
    files[name] = file;
    })
    .on('error', function(err) {
    cb(err, fields, files);
    })
    // 所有数据接收完毕,执行回调函数
    .on('end', function() {
    cb(null, fields, files);
    });
    }

    return this;
    };

    // 保存header信息
    IncomingForm.prototype.writeHeaders = function(headers) {
    this.headers = headers;
    // 从头部中解析数据的长度和form类型
    this._parseContentLength();
    this._parseContentType();
    };

    IncomingForm.prototype.write = function(buffer) {
    if (!this._parser) {
    this._error(new Error('unintialized parser'));
    return;
    }

    /* 累加接收到的信息 */
    this.bytesReceived += buffer.length;
    this.emit('progress', this.bytesReceived, this.bytesExpected);

    // 解析数据
    var bytesParsed = this._parser.write(buffer);
    if (bytesParsed !== buffer.length) {
    this._error(new Error('parser error, '+bytesParsed+' of '+buffer.length+' bytes parsed'));
    }

    return bytesParsed;
    };

    IncomingForm.prototype.pause = function() {
    // this does nothing, unless overwritten in IncomingForm.parse
    return false;
    };

    IncomingForm.prototype.resume = function() {
    // this does nothing, unless overwritten in IncomingForm.parse
    return false;
    };

    /**
    * 开始接受数据(这个函数在headers被分析完成后调用,这个时候剩下的data还没有解析过来
    */
    IncomingForm.prototype.onPart = function(part) {
    // this method can be overwritten by the user
    this.handlePart(part);
    };

    IncomingForm.prototype.handlePart = function(part) {
    var self = this;

    /* post数据不是文件的情况 */
    if (!part.filename) {
    var value = ''
    , decoder = new StringDecoder(this.encoding);
    /* 有数据过来时 */
    part.on('data', function(buffer) {
    self._fieldsSize += buffer.length;
    if (self._fieldsSize > self.maxFieldsSize) {
    self._error(new Error('maxFieldsSize exceeded, received '+self._fieldsSize+' bytes of field data'));
    return;
    }
    value += decoder.write(buffer);
    });

    part.on('end', function() {
    self.emit('field', part.name, value);
    });
    return;
    }

    this._flushing++;

    // 创建新的file实例
    var file = new File({
    path: this._uploadPath(part.filename),
    name: part.filename,
    type: part.mime,
    });

    this.emit('fileBegin', part.name, file);

    file.open();

    /* 当文件数据达到,一点一点写入文件 */
    part.on('data', function(buffer) {
    self.pause();
    file.write(buffer, function() {
    self.resume();
    });
    });

    // 一个文件的数据解析完毕,出发事件
    part.on('end', function() {
    file.end(function() {
    self._flushing--;
    self.emit('file', part.name, file);
    self._maybeEnd();
    });
    });
    };
    /**
    * 解析表单类型
    * 如果为文件表单,则解析出边界字串,初始化multipartParser
    */
    IncomingForm.prototype._parseContentType = function() {
    if (!this.headers['content-type']) {
    this._error(new Error('bad content-type header, no content-type'));
    return;
    }

    // 如果是一般的post数据
    if (this.headers['content-type'].match(/urlencoded/i)) {
    this._initUrlencoded();
    return;
    }

    // 如果为文件类型
    if (this.headers['content-type'].match(/multipart/i)) {
    var m;
    if (m = this.headers['content-type'].match(/boundary=(?:"([^"]+)"|([^;]+))/i)) {
    // 解析出边界字符串,并利用边界字符串初始化multipart组件
    this._initMultipart(m[1] || m[2]);
    } else {
    this._error(new Error('bad content-type header, no multipart boundary'));
    }
    return;
    }

    this._error(new Error('bad content-type header, unknown content-type: '+this.headers['content-type']));
    };

    IncomingForm.prototype._error = function(err) {
    if (this.error) {
    return;
    }

    this.error = err;
    this.pause();
    this.emit('error', err);
    };

    // 从 this.headers 中获取数据总长度
    IncomingForm.prototype._parseContentLength = function() {
    if (this.headers['content-length']) {
    this.bytesReceived = 0;
    this.bytesExpected = parseInt(this.headers['content-length'], 10);
    }
    };

    IncomingForm.prototype._newParser = function() {
    return new MultipartParser();
    };
    // 初始化multipartParset 组件
    IncomingForm.prototype._initMultipart = function(boundary) {
    this.type = 'multipart';

    // 实例化组件
    var parser = new MultipartParser(),
    self = this,
    headerField,
    headerValue,
    part;

    parser.initWithBoundary(boundary);
    /**
    * 下面这些方法便是multipartParser中的callback以及dataCallback调用的函书
    * 当开始解析一个数据段(比如一个文件..)
    * 并重置相关信息
    */
    parser.onPartBegin = function() {
    part = new EventEmitter();
    part.headers = {};
    part.name = null;
    part.filename = null;
    part.mime = null;
    headerField = '';
    headerValue = '';
    };
    /**
    * 数据段的头部信息解析完毕(或者数据段的头部信息在当前接受到的数据段的尾部,并且尚未结束)
    * 下面的onHeaderValue和onPartData也是一样的道理
    */
    parser.onHeaderField = function(b, start, end) {
    headerField += b.toString(self.encoding, start, end);
    };

    /* 数据段的头部信息value的解析过程 */
    parser.onHeaderValue = function(b, start, end) {
    headerValue += b.toString(self.encoding, start, end);
    };

    /* header信息(一行)解析完毕,并储存起来 */
    parser.onHeaderEnd = function() {
    headerField = headerField.toLowerCase();
    part.headers[headerField] = headerValue;

    var m;
    if (headerField == 'content-disposition') {
    if (m = headerValue.match(/name="([^"]+)"/i)) {
    part.name = m[1];
    }

    if (m = headerValue.match(/filename="([^;]+)"/i)) {
    part.filename = m[1].substr(m[1].lastIndexOf('\\') + 1);
    }
    } else if (headerField == 'content-type') {
    part.mime = headerValue;
    }

    /* 重置,准备解析下一个header信息 */
    headerField = '';
    headerValue = '';
    };

    /* 整个headers信息解析完毕 */
    parser.onHeadersEnd = function() {
    self.onPart(part);
    };

    /* 数据部分的解析 */
    parser.onPartData = function(b, start, end) {
    part.emit('data', b.slice(start, end));
    };

    /* 数据段解析完毕 */
    parser.onPartEnd = function() {
    part.emit('end');
    };

    parser.onEnd = function() {
    self.ended = true;
    self._maybeEnd();
    };

    this._parser = parser;
    };

    /* 初始化,处理application/x-www-form-urlencoded类型的表单 */
    IncomingForm.prototype._initUrlencoded = function() {
    this.type = 'urlencoded';

    var parser = new QuerystringParser()
    , self = this;

    parser.onField = function(key, val) {
    self.emit('field', key, val);
    };

    parser.onEnd = function() {
    self.ended = true;
    self._maybeEnd();
    };

    this._parser = parser;
    };

    /**
    * 根据给定的文件名,构造出path
    */
    IncomingForm.prototype._uploadPath = function(filename) {
    var name = '';
    for (var i = 0; i < 32; i++) {
    name += Math.floor(Math.random() * 16).toString(16);
    }

    if (this.keepExtensions) {
    name += path.extname(filename);
    }

    return path.join(this.uploadDir, name);
    };

    IncomingForm.prototype._maybeEnd = function() {
    if (!this.ended || this._flushing) {
    return;
    }

    this.emit('end');
    };

     

    进一步理解请参考:http://cnodejs.org/topic/4f16442ccae1f4aa2700104d


  • 相关阅读:
    二十四 多重继承
    二十三 使用@property
    Tornado 协程
    基于协程的Python网络库gevent
    用greenlet实现Python中的并发
    在Nginx上配置多个站点
    python 使用Nginx和uWSGI来运行Python应用
    在Apache中运行Python WSGI应用
    Python打包分发工具setuptools
    Python 远程部署 Fabric
  • 原文地址:https://www.cnblogs.com/imlucky/p/2744302.html
Copyright © 2011-2022 走看看