import requests requests . get( ' https:/ /www. baidu. com')爬虫程序1.给定种子url,程序负责获取url的页面数据2.程序对页面数据解析解析，匹配需要的url连接，放入到队列3.重复1和2, 直到条件完成
效率 线程 协程 分布式架构
优先级排序
去重 先hash 再处理
数据存储