zoukankan      html  css  js  c++  java
  • python中的缓存技术

    python缓存技术

    def console(a,b):
        print('进入函数')
        return (a,b)
    
    print(console(3,'a'))
    print(console(2,'b'))
    print(console(3.0,'a'))
    
    #输出结果
    进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    进入函数
    (3.0, 'a')
    

    接下来我们引入functools模块的lru_cache,python3自带模块。

    from functools import lru_cache
    @lru_cache()
    def console2(a, b):
        print("进入函数")
        return (a, b)
    print(console2(3, 'a'))
    print(console2(2, 'b'))
    print(console2(3.0, 'a'))
    
    
    #输出结果
    进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    (3, 'a')
    

    很明显,输出结果少了一行,这是为什么呢?

    什么是LRU

    LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时,新的元素加入队列时,需要从现有队列中移除一个元素,LRU 策略就是将最近最少被访问的元素移除,从而腾出空间给新的元素。

    python中的实现

    python3中的functools模块的lru_cache实现了这个功能,
    lru_cache装饰器会记录以往函数运行的结果,实现了备忘
    (memoization)功能,避免参数重复时反复调用,达到提高性能的作用,在递归函数中作用特别明显。这是一项优化技术,它把耗时的函数的结果保存起来,避免传入相同的参数时重复计算。

    带参数的lru_cache

    使用方法lru_cache(maxsize=128, typed=False)
    maxsize可以缓存最多个此函数的调用结果,从而提高程序执行的效率,特别适合于耗时的函数。
    参数maxsize为最多缓存的次数,如果为None,则无限制,设置为2的n次幂时,性能最佳;
    如果 typed=True,则不同参数类型的调用将分别缓存,例如 f(3) 和 f(3.0),默认False
    来一段综合代码:

    from functools import lru_cache
    
    def console1(a, b):
        print("进入函数")
        return (a, b)
    
    
    @lru_cache()
    def console2(a, b):
        print("进入函数")
        return (a, b)
    
    
    @lru_cache(maxsize=256, typed=True)
    def console3(a, b):
        '''
    
        :param a:
        :param b:
        :return:
        '''
        print("进入函数")
        return (a, b)
    
    
    print(console1(3, 'a'))
    print(console1(2, 'b'))
    print(console1(3.0, 'a'))
    print("*" * 40)
    print(console2(3, 'a'))
    print(console2(2, 'b'))
    print(console2(3.0, 'a'))
    print("*" * 40)
    print(console3(3, 'a'))
    print(console3(2, 'b'))
    print(console3(3.0, 'a'))
    
    #输出结果为
    进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    进入函数
    (3.0, 'a')
    ****************************************
    进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    (3, 'a')
    ****************************************
    进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    进入函数
    (3.0, 'a')
    

    同样的可以用到爬虫的去重操作上,避免网页的重复请求。
    在后期存储的时候做判断即可。

    from functools import lru_cache
    from  requests_html import HTMLSession
    session=HTMLSession()
    @lru_cache()
    def get_html(url):
        req=session.get(url)
        print(url)
        return req
    
    urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]
    
    if __name__ == '__main__':
        for i in urllist:
            print(get_html(i))
    

    输出结果:

    https://www.baidu.com
    <Response [200]>
    https://pypi.org/project/pylru/1.0.9/
    <Response [200]>
    <Response [200]>
    
  • 相关阅读:
    TortoiseGit 文件比对工具使用 Beyond Compare 和 DiffMerge
    IE8/9 本地预览上传图片
    IT人经济思维之投资
    4、界面前端设计师指南
    IT软件人员的技术学习内容(写给技术迷茫中的你)
    IT从业者的职业道路(从程序员到部门经理)
    jQuery插件库代码分享
    Magical平台类库代码分享
    软件外包的启示
    2、员工的激励与自我激励
  • 原文地址:https://www.cnblogs.com/zhoajiahao/p/11842046.html
Copyright © 2011-2022 走看看