1. gevent
gevent 是 python 里的一种协程工具,将多个任务同时加入协程,可以减少在 IO 时由于网络等原因出现的时延导致的执行等待问题。IO 进行过程中时,线程会执行其他的代码。
2. 数据流中信息是按照二进制传输的,信息的格式有多种,包括 marshal 和 json,需要按照对应的格式解析数据才能得到正确的信息。
3. 字典或者其他数据文件在读取数据时一定要弄清楚它的结构,各级目录是什么。
4. php 环境安装
1. 在 php 的官网 http://php.net/downloads.php 下载需要的 php 压缩包。
2. 解压后进入 php 的目录下,进行安装前的配置。
./configure --prefix=/home/spider/php-5.5.38 --enable-fpm --enable-mysqlnd --with-mysql --with-mysqli --with-pdo-mysql --with-curl
prefix 指定了安装路径,比如bin目录的路径。
with 表示编译哪些模块。
3. make && make install 进行安装
如果上一次的安装存在残余文件需要先 make clean 才能正常安装。