ubuntu云服务器配置爬虫库

目录

• 安装anacondas
• 配置anacondas环境变量
• 配置jupyter
• 安装请求库
  • requests安装
  • Selenium安装
  • ChromeDriver安装
  • aiohttp安装
• 安装解析库
  • lxml安装
  • Beautiful Soup安装
  • pyquery安装
  • tesserocr安装
• 安装数据库
  • mysql安装
  • MongoDB安装
  • Redis安装
• 安装存储库
  • PyMySQL安装
  • PyMongo安装
  • Redis-py安装
  • RedisDump安装
• 安装Web库
  • Flask安装
  • Tornado安装
• 安装App爬取相关库
  • Charles安装
  • mitmproxy安装
  • Appium安装
• 安装爬虫框架
  • pyspider安装
  • Scrapy安装
  • Scrapy-Splash安装
  • Scrapy-Redis安装
• 安装部署相关库
  • Docker安装
  • Scrapyd安装
    • 1.安装
    • 2.配置文件
    • 3.启动服务
    • 4.访问认证（nginx实现）
    • 5.其他指令
  • Scrapyd-Client安装
  • Scrapyd-API安装
  • Scrapyrt安装
  • Gerapy安装（么装上···
• 拓展：杀死后台进程和
• 拓展：vim查找关键字
• 拓展：在linux下查找文件路径

用的是腾讯云学生机

系统是ubuntu18.04

安装anacondas

是从清华大学的镜像源里找到自己喜欢的版本

https://repo.anaconda.com/archive

使用wget来直接安装指定版本的anacondas

wget https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86_64.sh

运行安装包的脚本文件

bash Anaconda3-5.3.1-Linux-x86_64.sh

按提示完成安装~

配置anacondas环境变量

打开配置文件

sudo vim ~/.bashrc

在最后一行中加入自己安装的anaconda下bin的路径

#set Anaconda3 environment
export PATH="/home/ubuntu/anaconda3/bin:$PATH"

使文件立即生效

source ~/.bashrc

配置jupyter

生成一个sha1加密的密文

vim generateSha.py

在里边写入

from notebook.auth import passwd
print(passwd('google'))

运行py文件得到一串sha1加密的密文，记下来

sha1:eb9b3623beca:60166d5389186cff356195341f2b92c77735caf8

python generateSha.py

查看jupyter配置文件的路径

jupyter notebook --generate-config

打开jupyter配置文件

vim /home/ubuntu/.jupyter/jupyter_notebook_config.py

加入以下内容

c.NotebookApp.ip = '*'
c.NotebookApp.port = 8888
c.NotebookApp.open_browser = False
c.NotebookApp.password = u'sha1:175857feb4bc:81edf72d2ad0f8f634dc8aa3ca8f195f2580219a'

意外：通常Xshell如果断开连接后需要重新使文件立即生效

source ~/.bashrc

创建一个jupyter-workplace的工作空间，用存放咋们的工程

mkdir jupyter-workplace

进入jupyter-workplace文件夹

cd jupyter-workplace

启动jupyter，让其在后台运行并输出日志到jupyter.log中

nohup jupyter notebook --allow-root > jupyter.log 2>&1 &

修改jupyter权限，否则会出现创建ipynb被拒绝的情况

sudo chmod 777 ~/.local/share/jupyter/

安装请求库

requests安装

(anacandas已有)

pip安装

pip install -i https://pypi.doubanio.com/simple/ requests

Selenium安装

pip install -i https://pypi.doubanio.com/simple/ Selenium

ChromeDriver安装

（嘤嘤嘤装不上，go die了)

---

假如你是国外的云服务器：下载指令,卧槽我忘了国内服务器访问不了谷歌平台。。嗨呀这条指令只适用海外的服务器

wget -O gdrive https://sites.google.com/site/wun913/Home/gdrive-linux-x64

假如你是国内的云服务器：

搭个梯子到这里下载以后，再用Xtfp啥的文件传输工具传到服务器吧。。

https://sites.google.com/site/wun913/Home/gdrive-linux-x64

---

root权限下：移动 gdrive 到 /usr/bin

mv gdrive-linux-x64 /usr/bin/gdrive

添加执行权限

chmod +x /usr/bin/gdrive

aiohttp安装

pip install -i https://pypi.doubanio.com/simple/ aiohttp

安装解析库

lxml安装

(忘了看anacondas有没有装了就报错了，好像是自带了0 0)

先安装必要的库

sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

再pip安装

pip install -i https://pypi.doubanio.com/simple/ lxml

Beautiful Soup安装

（anacondas自带了）

pip install -i https://pypi.doubanio.com/simple/ beautifulsoup4

pyquery安装

pip install -i https://pypi.doubanio.com/simple/ pyquery

tesserocr安装

安装各种版本的依赖

sudo apt-get install -y tesseract-ocr libtesseract-dev libleptonica-dev

安装完以后可以用命令运行一下查看语言

tesseract --list-langs

他只支持几种语言，想要安装其他语言的话就得去为https://github.com/tesseract-ocr/tessdata下载

克隆到服务器上

git clone https://github.com/tesseract-ocr/tessdata.git

迁移到tesseract中

sudo mv tessdata/* /usr/share/tesseract-ocr/tessdata

再用pip安装

pip install -i https://pypi.doubanio.com/simple/ tesserocr

安装数据库

mysql安装

apt安装

sudo apt-get update 
sudo apt-get install -y mysql-server mysql-client

MongoDB安装

apt安装

sudo apt install -y mongodb

使mongoDB在端口27017上运行，数据文件保存到/data/db路径下

mongod --port 27017 --dbpath /data/db 

进入mongo数据库创建一个角色信息用于远程访问

进入mongo数据库

mongo --port 27017

创建一个数据库角色，名为moon，密码为123，权限为root，使用的数据库为admin

db.createUser({user:'moon',pwd:'123',roles:[{role:'root',db:'admin'}]})

查看mongo配置文件路径

ps -ax | grep mongod

修改mongo配置文件使得能够远程访问

sudo vi /etc/mongod.conf

net部分和security修改如下:

net: 
	port: 27017 
	bindip: 0.0.0.0
security:
	authorization:enabled

重启mongoDB服务

sudo systemctl restart mongodb

其他相关指令

---

更新用户密码

use admin
db.changeUserPassword('tank2','test');  

查看服务当前状态

sudo systemctl status mongodb

停止服务

sudo systemctl stop mongodb

启动服务

sudo systemctl restart mongodb

禁用自启动

sudo systemctl disable mongodb

开启自启动

sudo systemctl enable mongodb

---

Redis安装

apt安装

sudo apt-get -y install redis-server

进入Redis命令行验证是否安装成功

进入Redis命令行

redis-cli

输入两条指令

set 'name' 'Germey'

get 'name'

这样就成功了，但是还没有办法远程连接，于是接着。。

打开本地文件

vim /etc/redis/redis.conf

注释掉这一行

bind 127.0.0.1

取消注释这一行

requirepass foobared

可以在vim搜索来找到这一行，foobared为当前密码，自行修改成自己想要的密码

之后重启Redis服务

sudo /etc/init.d/redis-server restart

其他指令

---

关闭Redis服务

sudo /etc/init.d/redis-server stop

开启Redis服务

sudo /etc/init.d/redis-server start

---

安装存储库

PyMySQL安装

pip install -i https://pypi.doubanio.com/simple/ pymysql

PyMongo安装

pip install -i https://pypi.doubanio.com/simple/ pymongo

Redis-py安装

pip install -i https://pypi.doubanio.com/simple/ redis

RedisDump安装

如果没有Ruby，先apt安装

sudo apt-get install ruby-full

再使用gem来安装RedisDump

gem install redis-dump

安装Web库

Flask安装

（已自带）

pip install -i https://pypi.doubanio.com/simple/ flask

Tornado安装

(已自带)

pip install -i https://pypi.doubanio.com/simple/ tornado

安装App爬取相关库

Charles安装

这个好像没必要装在服务器上，因为是图形化界面的

mitmproxy安装

方法一：

---

到https://github.com/mitmproxy/mitmproxy/releases/下载二进制包

用Xftp传到服务器后解压，

tar -zxvf mitmproxy-5.1.0.tar.gz

进入安装的根目录，将三个文件移动到/usr/bin

sudo mv mitmproxy mitmdump mitmweb /usr/bin

---

方法二：

---

先安装必要的库

sudo apt-get install openssl 
sudo apt-get install libssl-dev
sudo apt-get install libc6-dev gcc
sudo apt-get install -y make build-essential zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm tk-dev

再用pip安装，一定要注意把--ignore-installed加上

pip install mitmproxy --ignore-installed

---

原文链接：https://blog.csdn.net/qq_39889867/article/details/83477480

---

Appium安装

ubuntu就是舒服。。只需要三条指令

先安装nodejs

sudo apt-get install nodejs

再安装npm

sudo apt-get install npm

最后用npm安装appium

npm install -g appium

npm --registry http://registry.cnpmjs.org install -g appium

安装爬虫框架

pyspider安装

pip install -i https://pypi.doubanio.com/simple/ pyspider

Scrapy安装

确保这些库已经安装

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

之后使用Pip安装

pip install Scrapy

Scrapy-Splash安装

通过docker来安装，安装好以后会自动启动服务运行，按ctrl+c退出

docker run -p 8050:8050 scrapinghub/splash

再加个参数-d使得Docker以守护态运行,这样的话它就一直在服务器上运行了

docker run -d -p 8050:8050 scrapinghub/splash

再用pip安装它的库

pip install scrapy-splash

Scrapy-Redis安装

pip install scrapy-redis

安装部署相关库

Docker安装

方法一：

---

curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-engine/internet | sh -

curl -sSL https://get.daocloud.io/docker | sh

验证docker是否安装成功

docker run hello-world

---

方法二：

---

apt安装

sudo apt install docker.io

启动docker

systemctl start docker

验证docker是否安装成功

docker run hello-world

开机自启动

systemctl enable docker

修改默认配置文件，咋们换个下载源

sudo vim /etc/docker/daemon.json

加入以下内容，把源换成中科大的

{ 

"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"] 

}

重启一下docker

systemctl enable docker
systemctl start docker

---

Scrapyd安装

1.安装

首先pip安装

pip install scrapyd

找到配置文件

find / -name "default_scrapyd.conf"

2.配置文件

打开配置文件

vim /home/ubuntu/anaconda3/lib/python3.7/site-packages/scrapyd/default_scrapyd.conf

将bind_address = 127.0.0.1修改成bind_address = 0.0.0.0允许远程访问

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

3.启动服务

启动scrapyd服务

scrapyd

这时候可以看到

4.访问认证（nginx实现）

安装nginx

sudo apt install nginx

在nginx配置文件目录下，创建一个scrapyd配置文件，sites-enabled这个文件夹下后缀名有没有无所谓

vim /etc/nginx/sites-enabled/scrapyd

配置信息如下

server { 
	listen 6801; 
	location / { 
		proxy_pass http://127.0.0.1:6800/; 
		auth_basic "Restricted"; 
		auth_basic_user_file /etc/nginx/conf.d/.htpasswd;
	}
}

到/etc/nginx/conf.d创建一个用户名为moon的密码文件.htpasswd

cd /etc/nginx/conf.d
htpasswd -c .htpasswd moon

查看一下密码

cat .htpasswd

意外：假如还有没有htpasswd会找不到指令，得先安装一下

sudo apt install apache2-utils

重启nginx服务

sudo nginx -s reload

5.其他指令

按ctrl+c退出，执行指令让它在后台运行

setsid scrapyd

如果想停止他的进程可以查他的PID

ps -ef | grep -i scrapyd

结束它的生命

kill -9 PID

---

但是这样不方便，所以自己写脚本来管理它（不方便就方便了我配置不动了QAQ就是不行

在/etc/init.d下新建一个脚本文件

vim /etc/init.d/scrapyd

加入以下信息进行配置

#!/bin/bash
PORT=6800
#这里是你的scrapyd安装目录，在前面已经有过怎么查找到这个目录了
HOME="/home/ubuntu/anaconda3/lib/python3.7/site-packages/scrapyd"
#这里是通过python安装后，scrapyd的执行目录
BIN="/home/ubuntu/anaconda3/bin/scrapyd"
 
pid=`netstat -lnopt | grep :$PORT | awk '/python/{gsub(//python/,"",$7);print $7;}'`
start() {
   if [ -n "$pid" ]; then
      echo "server already start,pid:$pid"
      return 0
   fi
 
   cd $HOME
   nohup $BIN >> $HOME/scrapyd.log 2>&1 &
   echo "start at port:$PORT"
}
 
stop() {
   if [ -z "$pid" ]; then
      echo "not find program on port:$PORT"
      return 0
   fi
 
   #结束程序，使用讯号2，如果不行可以尝试讯号9强制结束
   kill -9 $pid
   echo "kill program use signal 9,pid:$pid"
}
 
status() {
   if [ -z "$pid" ]; then
      echo "not find program on port:$PORT"
   else
      echo "program is running,pid:$pid"
   fi
}
 
case $1 in
   start)
      start
   ;;
   stop)
      stop
   ;;
   status)
      status
   ;;
   *)
      echo "Usage: {start|stop|status}"
   ;;
esac
 
exit 0

赋予可执行权限

chmod u+x scrapyd

测试

开启服务

service scrapyd start

查看状态

service scrapyd status

关闭状态

service scrapyd stop

---

Scrapyd-Client安装

pip安装

pip install scrapyd-client

验证安装是否成功

scrapyd-deploy -h

Scrapyd-API安装

pip安装

pip install python-scrapyd-api

验证安装是否成功

from scrapyd_api import ScrapydAPI 
scrapyd = ScrapydAPI('http://localhost:6800') 
print(scrapyd.list_projects())

输出

Scrapyrt安装

pip安装

pip install scrapyrt

顺带记一下~启动scrapyrt服务

scrapyrt

Gerapy安装（么装上···

pip安装

pip install gerapy

呕了装了一天。。太难了把各种版本冲突，大部分是正常的了以后需要用的时候再装或者弄几个虚拟环境装来用吧。。

拓展：杀死后台进程和

查看进程号

ps -aux

查看进程占用的端口

netstat -atunp

include /etc/nginx/conf.d/*.conf

根据Pid杀死某个进程

kill pid

拓展：vim查找关键字

比如想找requirepass，先按一下ESC再输入/requirepass/，然后回车！

拓展：在linux下查找文件路径

find / -name "default_scrapyd.conf"