搭建centos7的开发环境1-系统安装及Python配置

在公司开发部干活的好处是可以再分配一台高性能的PC,有了新的工作电脑，原来分配的笔记本电脑就可以安装linux系统做开发了，主要有两方面的开发计划，一个是计划中要参与爬虫系统的开发，第二个是大数据环境的安装和测试。

选择centos

既然选择了要做linux开发了，选择哪个系统版本就成立一个问题。以前学OS系统时候，用过ubuntu，GUI感觉和用老版本的windows比较像（后来ubuntu12的GUI惊艳了我），和windows环境的差异感比较小。
最后决定是centos，最重要的原因是公司都在往centos7上迁移，并且目前国内的互联网公司也主要是centos为主吧，参考为什么国内互联网公司喜欢用Centos而不是Ubuntu？。另外centos也比较能锻炼人吧，后面配置环境的经历确实让我感觉很受锻炼，遇到更多问题，还重装了N次系统。
用U盘刻了CentOS-7-x86_64-Everything-1511版本，目前最新的应该是7.3.1611，不过差别不太大。安装步骤说明：
首先参考这两份文档：U盘安装win8(win7)+centos7双系统 Win10下安装CentOS 7双系统详解

• 修改BIOS的boot顺序，改为U盘启动。
• 进入Centos的安装界面小黑屏，有三个选择，先别管那么多，按一下TAB键修改安装的位置，避免进入默认的网络安装。下图中第二份教程中的这个图片有点问题，不一定能找出来，建议使用这个命令找到U盘的盘符名，类似sda1,sdb2,sdc3这种。

 vmlinuz initrd=initrd.img linux dd

• 找到插入的U盘的盘符后（假设为sdc4)，按电源键强制重启再进入，再按TAB键，这次修改为

vmlinuz initrd=initrd.img inst.stage2=hd:/dev/sdc4 quite

• 剩下的步骤就按照教程上进行设置就可以了，没有太大难度就不一一细说。安装完后，发现原来笔记本电脑的win10系统找不到了，不要慌，可以通过下面的教程解决。
  Centos7 + Windows7 双系统，通过修改grub2，重新添加 Win7 启动引导项

更新yum源

centos是使用yum来在线安装软件的，也比较好用，能管理依赖关系。如果yum安装不成功，就要手工下载rpm包或者源码进行make install。
因为众所周知的原因，国内用centos默认yum源会比较慢，所以需要更新为国内的软件源。我用了阿里云的源，具体更新步骤如下：

sudo -i
cd /etc/yum.repos.d/
mv CentOS-Base.repo CentOS-Base.repo.save
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache
yum -y update
yum install python-setuptools
easy_install pip

好，上述步骤完成后，我们就把python的pip工具安装好了。不过python还是2.7.5版本的，之前有升级过2.7.13，但是后来yum就各种傻逼了，所以暂时先不升级2.7.13。

python的开发环境

因为后续可能涉及python2和python3的开发项目，需要把每个项目环境独立开来，这里通过virtualenv和virtualenvwrapper来解决。执行下面的步骤:

sudo yum -y install python-virtualenv
sudo easy_install virtualenvwrapper
mkdir py_vm
export WORKON_HOME=/home/kejun/py_vm
source /usr/bin/virtualenvwrapper.sh
mkvirtualenv spider

执行上述的指令，我们就完成了爬虫的虚拟环境的安装，现在继续安装在windows开发的环境中用到的python第三方包。
这边介绍一款可以按项目导出需求包的工具pipreqs。以创建的第一个爬虫项目kejun_first_crawler为例。执行下面的命令：

pip install pipreqs
pipreqs D:PWorkspacekejun_first_crawler

成功运行后，可以看到下图：

打开目录下的requirements.txt，可以看到
chardet==2.3.0
Scrapy==1.3.2
selenium==3.0.2
beautifulsoup4==4.5.3
python_dateutil==2.6.0
也就是说运行该爬虫项目需要的就只要上述5个第三方包就行了。然后按照下面的指令完成导入到虚拟项目spider中就行了，这样可以做到相对的隔离。

pip install -r requirements.txt