多线程爬虫

一、 程序，进程，线程

1. 程序:由源代码生成的可执行应用。（例如：QQ，淘宝等）
2. 进程：一个正在运行的程序可以看做一个进程，进程拥有独立运行所需要的全部资源。（例如：打开QQ相当于开启一个进程）
3. 线程：程序中独立运行的代码段。（例如：在QQ这个进程中，传输文字是一个线程，传输语音是一个线程，弹出对话框是一个线程。）

一个程序至少拥有一个进程，一个进程至少拥有一个线程。进程负责资源的调度和分配，线程才是程序真正的执行单元，负责代码的执行。

二、单线程

原理：

　　每个正在运行的程序（即进程），至少包含一个线程，这个线程叫做主线程，

主线程在程序启动时被创建，用于执行main函数，只有一个主线程的程序叫做单线

程程序，主线程负责执行程序的所有代码。这些代码只能顺序执行，无法并发执行。

 

 

三、多线程

多线程定义：

　　多线程是指程序中包含多个执行流，即在一个程序中可以同时运

行多个不同的线程来执行不同的任务，也就是说允许单个程序创建多个并行执

行的线程来完成各自的任务。

 

多线程优点：

　　可以提高CPU的利用率。在多线程程序中，一个线程必须等待的

时候，CPU可以运行其它的线程而不是等待，这样就大大提高了程序的效率。

 

1.创建多线程的第一种写法（代码）

import time
import random
import threading

def download(i):
    """
    一个文件一个文件的下载，按顺序下载
    """
    print(f"----------------下载{i}文件开始-----------------")
    time.sleep(random.random()*10)
    print(f"---------------下载{i}文件开始------------------")


# 单线程（主线程）
if __name__ == '__main__':

    for i in range(5):
        # 创建线程 target参数传递的是这个线程需要执行的函数
        #         args参数传递的元组格式  实现文件同时下载
        t = threading.Thread(target=download, args=(i,))
        # 启动线程
        t.start()