爬虫应用场景
- 数据分析服务
- 互联网金融
- 数据建模
- 信息聚类
- 自然语言处理
- 医疗病例分析
学习步骤
- 环境配置和基础知识
- 爬取真实数据
- scrapy反爬虫技术
- scrapy进阶
- scrapy redis 分布式爬虫
- elasticsearch 实现搜索引擎
CenOS 安装 Python3
- 官网下载Python源码并解压 Python 源码
tar -zxvf Python-3.7.0.tgz -C ../software
- 安装相关依赖
yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel
yum -y install libffi libffi-devel
cd Python-3.7.0/
配置编译，因为上面依赖包是用yum安装而不是自己编译的，所以都是安装在系统默认目录下，因此各种选项不用加默认即可生效：
./configure
接下来编译源码：
make
make install
配置软连接
备份python命令
mv /usr/bin/python /usr/bin/python.bak
/usr/local/bin/python3指向 /usr/bin/python
ln -s /usr/local/bin/python3 /usr/bin/python
mv /usr/bin/pip /usr/bin/pip.bak
ln -s /usr/local/bin/pip3 /usr/bin/pip