zoukankan      html  css  js  c++  java
  • python进程和线程

    爬虫开发过程中 进程和线程的概念是非常重要的  提高爬虫的 工作效率 打造分布式爬虫

    都离不开进程和线程的身影  

    多进程 多线程  协程  分布式进程等四个方面

    ------

    使用os模块中的fork方法

    使用multiprocessing模块

    前者仅仅适用Unix/Linux操作系统

    对windows不支持

    后者是跨平台的实现方式

    ------

    fork方法来自于Unix/Linux操作系统中提供的一个fork系统调用

    这个方法非常特殊,

    普通的方法都是调用一次 返回一次

    而fork方法是调用一次 返回两次

    原因在于  操作系统将当前进程(父进程) 复制出一份进程(子进程)

    这两个进程几乎完全相同

    fork方法分别在父进程和子进程返回

    --

    子进程中永远返回0

    父进程中返回的子进程 的ID

    ---

    os模块中getid方法用于获取当前进程的ID

    getpid用于获取父进程的ID

    -----

    -0--------

    宁波诺丁汉大学

    --------)-----

  • 相关阅读:
    SPOJ
    基础计算几何
    数颜色
    Codeforces 986B
    一些有趣的题
    jQuery
    linux命令学习
    javaScript
    css
    html
  • 原文地址:https://www.cnblogs.com/yizhixuepython/p/9262619.html
Copyright © 2011-2022 走看看