#31.分布式爬虫主要解决什么问题? ''' ip 带宽 CPU IO ''' #32.网络传输层 ''' 应用层—http ftp dns nfs 传输层—tcp --udp 网络层—ip icmp igmp 链路层—data link 物理层—media ''' #33.redis和mysql的区别 ''' readis 是内存数据库,数据保存在内存中,速度快。 mysql 是关系型数据库 ,持久化存储 ,存放在磁盘里面 ,功能强大。检索的话,会涉及到一定的 IO ,数据访问也就慢。 ''' #34.简述什么是线程,进程,协程 ''' 进程:具有一定独立功能的程序.进程是系统进行资源分配和调度的一个独立单位.每个进程斗鱼独立的内存空间 线程:线程是一个实体,是CPU调度和分派的基本单位,他是比进程更小的能独立运行的基本单位.线程自己不拥有系统资源,而是与同一进程下的其他线程共享进程的全部资源 协程:用户态的轻量级线程,协程的调度完全由用户控制 ''' #35.简述装饰器 ''' 不改变原函数的基础上给函数增加额外的功能,又名语法糖 ''' #36.简述同步和异步 ''' 同步:在发生一个功能调用的时候,没有得到结果之前,该调用就不返回 异步:在一个异步过程调用发生后,调用者不能立刻得到结果.实际处理这个调用的部件在完成后,通过状态、通知 和回调来通知调用者. ''' #37.现有字典d = {'a':24,'g':52,'l':12,'k':33}请按字典中value值进行排序 ''' d = {'a':24,'g':52,'l':12,'k':33} s1 = sorted(d.items(),key = lambda x:x[1]) s2 = sorted(d.items(),key = lambda x:x[1])[::-1] #x[1]时,按每个元组的下标为1的从小到大排序 #x[0]时,按每个元组的下标为0从小到大排列,[::-1]倒序排列 print(s1,s2,sep=" ") ''' #38.redis存储指纹过多怎么办 ''' 1.设置生存时间 2.定时清理 3.主从 4.持久化 ''' #39.什么是函数 ''' 设计好的,可以重复使用,用来实现单一或关联功能的代码段 函数能提高应用的模块性,提高代码的复用性. ''' #40.scrapy-redis去重原理 ''' set数据结构 '''