读书笔记: 深入浅出node.js

>> 深入浅出node.js

node.js是c++编写的js运行环境

浏览器： 渲染引擎 + js引擎

后端的js运行环境

node.js用google v8引擎，同时提供很多系统级的API(文件操作 网络编程...）

node.js采用事件驱动 异步编程，为网络服务而设计

浏览器端的js有各种安全限制

node.js提供的多数API都是基于事件的，异步的风格。

node.js的优点：充分利用系统资源，执行代码不会被阻塞以等待某个操作的完成；这个设计非常适合后端的网络服务编程。通过事件注册，回调，可以提高资源的利用率，改善性能。

为方便服务器开发，node.js的网络模块有很多：
HTTP, HTTPS, DNS, NET, UDP, TLS等，有助于快速构建web服务器。

node.js的特点：事件驱动，异步编程，单进程，单线程。
node.js内部通过单线程高效率地维护事件循环队列，没有太多的资源占用和上下文切换。

单核性能出色的node.js如何利用多核CPU呢？建议运行多个node.js进程，用某种通信协议协调各项任务。

javascript的匿名函数和闭包特性非常适合事件驱动，异步编程。

node.js最擅长的事情是与其他服务通信。因为node.js是基于事件的无阻塞的，所以非常适合处理并发请求；缺点：node.js是相对新的一个开源项目，所以不太稳定，一直的变，而且缺少足够多的第三方库支持。

知名项目托管网站GitHub也尝试了node应用(NodeLoad). 使用node.js的项目还有MyFox

Node库socket.io

>> node.js的安装和配置
window版已经编译好的node.js安装包 nodejs.msi，安装后在Node命令行环境输入 node -v，有版本号输出，则说明安装好了。

NPM(Node Package Manager)NodeJs的包管理器。通过NPM我们可以安装Nodejs的第三方库。

Unix/Linux安装NPM:
curl http://npmjs.org/install.sh | sudo sh
获取shell脚本，交给sh命令以sudo权限执行。
安装完之后 输入 npm 回车，如输出帮助信息 则表明安装成功。

用NPM安装第三方库：如underscore
npm install underscore
由于一些特殊的网络环境用npm安装第三方库时，容易卡死；可以通过一个镜像的npm资源库来安装，如：
npm --registry "http://npm.hacknodejs.com/" install underscore

设置为默认npm资源库：
npm config set registry "http://npm.hacknodejs.com" ， 设置之后就可以直接 npm install underscore

window下安装NPM:
下载较新的nodejs.msi(v0.10...)安装包并安装后，npm默认也安装了。

命令行下输入 npm回车即可查看npm的帮助信息。

npm install underscore

>> node.js的模块机制
CommonJs规范：构建javascript在包括服务器，桌面，命令行的生态系统。
node.js实现了用require方法引入其他模块，同时npm也基于CommonJs规范定义了包规范，实现了依赖管理和包的自动安装。

> 模块的定义和使用
circle.js:
var PI = Math.PI;
exports.area = function(r){
return PI*r*r
}

exports.length = function(r){
return 2*PI*r
}

app.js:
var circle = require('./circle.js');
console.log('the area of circle of radius 4 is ' + circle.area(4) );

> 模块的载入策略
node.js的模块分为2类：原生（核心）模块 和 文件模块
原生模块在node.js源代码编译时就编译进了二进制执行文件，加载速度最快；文件模块是动态加载的，相对慢。

node.js对require后的原生模块和文件模块都有缓存，第二次require时，从缓存获得，不会有重复的开销。

node.js加载文件模块的工作是有原生模块module来实现和完成的。
文件模块按后缀又分为3类:
.js 通过fs模块同步读取js文件并执行
.node c/c++编写的addon, 通过dlopen方法加载
.json 读取文件 用JSON.parse方法解析。

node.js对app.js这类文件模块的加载过程：
1. 对文件内容进行头尾包装，变为模块定义的形式。如包装后变为：
(function(exports, require, module, __filename, __dirname){
var circle = require('./circle.js');
console.log('the area of circle of radius 4 is ' + circle.area(4) );
})
包装后用vm模块的runInThisContext方法执行这个function对象，并传入对应的实参。

require('./circle.js'); //在这里circle.js模块经历 载入--编译--缓存的过程,最后返回module对象exports。

> require方法的文件查找策略
node.js有原生模块和3种文件模块
先在文件模块缓存区查找--若没有-->看看是否原生模块（是，则到原生模块缓存区查找，没找到则加载之并缓存)--若非原生模块--则查找文件模块----根据后缀 载入文件模块并缓存----最后返回exports

require(..)方法的参数:
1. http, fs, path等原生模块
2. ./mod或../mod,相对路径的文件模块
3. /pathtomodule/mod 绝对路径的文件模块
4. mod 非原生模块的文件模块

module path这个概念：
每一个被加载的文件模块，在创建模块对象时，这个模块便会有一个paths属性，其值是根据当前路径计算得到的路径数组。如：
modulepaths.js:
console.log(module.paths);
把modulepaths.js放到 f:panlm目录下，在命令行切换到该目录，执行 node modulepaths.js,输出：
[ 'F:\pan\lm\node_modules',
'F:\pan\node_modules',
'F:\node_modules' ]
查找路径生成规则很明显，此外还有一个全局的module path: 当前node执行文件的相对目录 和 环境变量中设置的HOME ,NODE_PATH

简而言之，若require绝对路径的文件，查找时不会遍历每一个node_modules目录，速度最快。

对module path数组的每条路径都执行某个查找过程。

>> 包结构
一个符合CommonJs规范的包结构应该如下：~~node_modules
1. 一个package.json文件应该存在于包的顶级目录下。
2. 二进制文件应包含在bin目录下
3. javascript代码也应该在bin目录下
4. 文档应该在doc目录下
5. 单元测试应该在test目录下

module paths路径数组中，在每条路径的查找过程中，在尝试添加扩展名也没找到目标文件时，会尝试将当期路径当做包来加载，从package.json中获取信息。读取package.json的main字段。

package.json的字段:
1. name 包名 需要在npm上是唯一的，不能包含空格。
2. description 包简介
3. version 版本号 x.y.z 用于版本控制的场景
4. keywords 关键字数组，用于npm分类搜素
5. maintainers 包维护者的数组 数组元素是形如 {name:..,email:.., web:..}的对象
6. contributors 包贡献者的数组，第一个元素是包作者，形如{name:..,email:..}
7. bugs 一个可以提交bug的url地址
8. license 包所使用的许可证数组 数组元素如{type:...,url:..}
9. repositories 托管源代码的地址数组
10. dependencies 当前包需要的依赖 这个属性很重要，NPM会通过它自动加载依赖包。

包符合CommonJs规范后，就可以发布，输入命令
npm publish <folder>
(需要先注册一个npm账号 : npm adduser)

若用户要使用npm上的包，可以执行：
npm install <package>

本地方式安装包：
从github手动下载包，在命令行下转到包的目录下 执行：
npm install <package.json>

--------------------------------------------------------
node.js中的js模块文件和script标签加载的js文件的区别：node.js的模块文件中声明的变量是在闭包内的，不会污染全局环境，需要被外部调用的接口都挂在exports上。

>> node.js的事件机制
node.js的特点：Evented I/O for V8 javascript （基于V8引擎的事件驱动I/O)

Event模块(events.EventEmitter)是一个简单的事件监听器模式的实现。具有方法：
addListener/on, once, removeListener, removeAllListeners, emit...

node.js的事件与前端Dom树上的事件不同， 不存在冒泡和逐层捕获等行为，自然也没有 preventDefault(), stopPropagation(), stopImmediatePropagation()等处理事件传递的方法

事件侦听器模式也是一种事件钩子(hook)机制，利用事件钩子导出内部数据和状态给外部调用者。

var options = ｛
host: 'www.google.com',
port: 80,
path: '/upload',
method: 'POST'
};

var req = http.request(options, function(res){
console.log('STATUS: ' + res.statusCode);
console.log('HEADERS: ' + JSON.stringfy(res.headers));

res.setEncoding('utf8');
res.on('data', function(chunk){
console.log('BODY:' + chunk);
});

});

req.on('error', function(e){
console.log('problem with request: ' + e.message);
});

//write data to request body
req.write('data ');
req.write('data2 ');
req.end();

注：如对于一个事件添加超过10个监听器，会得到一条警告，因为设计者认为侦听器太多，可能导致内存泄漏。调用这个语句可以取消10个侦听器的限制： emitter.setMaxListener(0);

若运行时的错误触发了error事件，会交给error侦听器处理，若没有设置error侦听器，则抛出异常，若异常没有被捕获，将会引起退出。

> 如何继承event.EventEmitter类,如node.js中流对象继承EventEmitter类：
//类式继承
function Stream(){
event.EventEmitter.call(this);
}
util.inherits(Stream, event.EventEmitter);

//util.inherits应该是如下这样实现原型链的
util.inherits = function(subClass, superClass){
function F(){}
F.prototype = superClass.prototype;
subClass.prototype = new F;
subClass.prototype.constructor = subClass;
}

> 多事件之间的协作
在大应用中，数据源和web服务器分离是必然的。好处有：相同数据源开发各种丰富的客户端程序，从多个数据源拉取数据，渲染到客户端。
node.js擅长同时并行发起对多个数据源的请求。
并行请求：
api.getUser('username', function(profile){
// got the profile
});

api.getTimeline('username', function(timeline){
// got the timeline
});

api.getSkin('username', function(skin){
// got the skin
});

这里存在一个问题：请求可以并行发出，但是如何控制回调函数的执行顺序？

若改为这样：
api.getUser('username', function(profile){
api.getTimeline('username', function(timeline){
api.getSkin('username', function(skin){
// todo
});
});
});

这将导致请求不能并行发出。

node.js没有原生支持多事件之间协调的方法，需要借助第三方库。如：

var proxy = new EventProxy();
//all方法作用：侦听完事件后，执行回调，并将侦听接收到的参数传入回调中
proxy.all('profile', 'timeline', 'skin', function(profile, timeline, skin){
//todo
});

api.getUser('username', function(profile){
proxy.emit('profile', profile); //触发事件profile,并传入实参profile
});

api.getTimeline('username', function(timeline){
proxy.emit('timeline', timeline);
});

api.getSkin('username', function(skin){
proxy.emit('skin', skin);
});

解决多事件协作的另一种方案：Jscex(代码可以用同步的思维去写，异步方式执行）
如：
var data = $await(Task.whenAll({
profile: api.getUser('username'),
timeline: api.getTimeline('username'),
skin: api.getSkin('username')
}));

//使用：data.profile, data.timeline, data.skin
// todo

> 利用事件队列解决雪崩问题
雪崩问题：指在缓存失效的情景下，大量的并发访问同时涌入数据库查询，数据库无法承受，进而导致网站整体很慢。

看看加一个状态锁的解决方案：
var status = 'ready';
var select = function(callback){
if(status ==='ready'){
status = 'pending'; //上锁
db.select('SQL', function(results){
callback(result);
status = 'ready'; //解锁
});
}
}

连续多次调用select方法时，锁定期间有的select会不被处理；所以应该用事件队列的方式来解决。

var proxy = new EventProxy();
var status = 'ready';
var select = function(callback){
proxy.once('selected', callback);//将所有请求的回调都压入事件队列中
if(status === 'ready'){
status = 'pending';
db.select('SQL', function(result){
proxy.emit('selected', result);
status = 'ready';
});
}
}

>> node.js的异步I/O实现
同步：程序中的后续任务都需要等待I/O的完成，等待的过程中无法充分利用CPU。
实现I/O并行，充分利用CPU的方式有2种：多线程但进程， 单线程多进程

getFile('file_path'); //耗时m
getFileFromNet('url'); //耗时n
同步I/O的话，需要m+n, 异步I/O的话，需要max(m,n)
异步I/O在分布式的环境中很重要，能明显改善性能。

> 异步I/O与轮询技术
进行非阻塞的I/O操作时，要读取到完整数据，应用程序要多次轮询，才能确保数据读取完成，然后进行下一步。轮询技术的缺点是应用程序主动多次调用，占用较多CPU时间片。

>> node.js的异步I/O模型
fs.open = function(path, flags, mode, callback){
callback = arguments[arguments.length - 1];
if( (typeof callback) !== 'function' ){
callback = noop;
}

mode = modeNum(mode, 438); /* 438 = 0666 */
binding.open(pathModule._makeLong(path), stringToFlags(flags), mode, callback);
}

>> string buffer

var fs = require('fs');
var rs = fs.createReadStream('testdata.md');
var data = '';
rs.on('data', function(trunk){
data += trunk; //trunk 是一个buffer对象
});

rs.on('end', function(){
console.log(data);
});

npm install bufferhelper;
bufferconcate.js:
var http = require('http');
var BufferHelper = require('bufferhelper');
http.createServer(function(req, res){
var bufferHelper = new BufferHelper();
req.on('data', function(chunk){
bufferHelper.concat(chunk);
});

req.on('end', function(){
var html = bufferHelper.toBuffer().toString();
res.writeHead(200);
res.end(html);
});
});

>> connect模块（node.js web框架)
中间件的流式处理

var app = connect();

//middleware
app.use(connect.staticCache());
app.use(connect.static(__diranme + '/public') );
app.use(connect.cookieParser());
app.use(connect.session());
...
app.use(function(req, res, next){
//中间件
});

app.listen(3001);

connect用use方法注册中间件到中间件队列中。