zoukankan      html  css  js  c++  java
  • 把爬虫部署到这个vps云主机上面-操作方法


    现在的问题是如何操作把爬虫部署到这个vps云主机上面,

    第一步,购买云主机,http://www.5jwl.com/ 无极网络,

    我使用这个公司的,

    第二步,在云主机配置拨号,这个每个厂商都有教程,

    买了之后问问厂商,

    第三步,在vps安装python和配置python虚拟环境,

    这一步在centos安装python可能会比较麻烦,

    第四步,部署爬虫代码,

    既然你要让这个vps能改变ip,就要知道用代码来控制断开拨号和开启拨号,这样才可以改变ip,

    然后就是要知道怎么通过代码获取ip和端口,这样才可以在代码里使用这个ip代理,

    但是如果只是把爬虫部署到vps上,就不需要获取这个ip和端口了,因为你就在机器里面,用的就是这个ip和端口,

    只是如果你需要远程调用的话,需要知道这个ip和端口,才可以远程调用,

    #####

    centos的网络的操作,

    ifconfig

    这是初始的ip,

     

    这是停止拨号的情况,会发现ppp0不见了,

    这是停止拨号之后,重新开始拨号,会发现这个ppp0的ip变换了,

    pppoe-start 开始拨号,我发现这一步很慢, 应该是在建立连接,打开要好几秒,这种效率低,

    ping www.baidu.com 进行网络验证

    开始拨号的网络

    停止拨号的网络

    pppoe-stop 停止拨号

    pppoe-status查看拨号状态和拨号后的信息

    开始拨号的状态

    停止拨号的状态

    #####

    上面是centos的操作

    如果能使用代码操作这个拨号

    如果需要把断网重拨命令写入脚本的话,pppoe-stop && pppoe-start命令之间需要加sleep 1s一秒延迟,否则会拨号不成功。若使用/sbin/ifdown ppp0 && /sbin/ifup ppp0,则不需要加一秒延迟,也能正常拨号成功。

    import os
    import time
    os.system("ifdown ppp0")
    status = os.system("pppoe-status")
    print(status)
    time.sleep(6)
    os.system("ifup ppp0")
    status = os.system("pppoe-status")
    print(status)

    这样就可以实现拨号了,然后你就可以继续下一步了,把这个命令融入你的爬虫脚本

    #####

  • 相关阅读:
    Python Scrapy框架
    Python Mongo数据库
    Python Selenium框架
    Python BeautifulSoup库使用
    Python 存入三大文件
    Python Xpath的解析,应用
    Python Requests 高级
    错误码:2003 不能连接到 MySQL 服务器在 (10061)
    MySQL连接本地数据库时报1045错误的解决方法
    iWebShop安装教程
  • 原文地址:https://www.cnblogs.com/andy0816/p/15324164.html
Copyright © 2011-2022 走看看