zoukankan      html  css  js  c++  java
  • Python selenium爬虫实现定时任务过程解析

    现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,
    好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,
    是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,这么程序都跑不起来,我还写这么多代码,*****!!
    是吧,接下来上代码,具体功能,请自信查阅相关资料深造:
    from datetime import datetime from threading import Timer import time # 定时任务 def task(): print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) def timedTask(): ''' 第一个参数: 延迟多长时间执行任务(秒) 第二个参数: 要执行的函数 第三个参数: 调用函数的参数(tuple) ''' Timer(5, task, ()).start() while True: timedTask() time.sleep(5)
    7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧
    2020-06-05 14:06:39 2020-06-05 14:06:44 2020-06-05 14:06:49 2020-06-05 14:06:54 2020-06-05 14:06:59 2020-06-05 14:07:04 2020-06-05 14:07:09 2020-06-05 14:07:14 2020-06-05 14:07:19 2020-06-05 14:07:24
    以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
  • 相关阅读:
    JAVA之数组
    Linux之判断字符串是否为空
    Python之操作HBASE数据库
    【转】Linux之crontab定时任务命令
    Python之shutil模块(复制移动文件)
    JAVA之列表集合ArrayList
    Python之多线程多进程
    前端之Javascript
    前端之DOM操作
    【转】写一个简单的爬虫来批量爬取新浪网的新闻
  • 原文地址:https://www.cnblogs.com/nanhe/p/13254688.html
Copyright © 2011-2022 走看看