zoukankan      html  css  js  c++  java
  • OpenStack中memcached的使用和实现

    概述

    主要分享下个人对Liberty版本openstack中cache使用的理解,由于作者水平有限,难免有所错误,疏漏,还望批评指正。

    openstack中可以使用cache层来缓存数据,Liberty版本主要有以下几种场景:

    • 存储函数执行结果 keystone heat nova等项目把一些固定的属性和查询请求的结果放到cache里面,加速访问。
    • 存储keystone token token创建完成之后,不需要修改,会有大量的读操作,适合放到cache中
    • 存储keystonemiddleware token 为neutron,cinder,nova等各个项目缓存从keystone获得的token。
    • 存储horizon用户会话数据 主要是django支持使用

    存储函数执行结果

    优势在于,很多查询函数的结果是固定的,但是又比较常用,查询一次之后,按照key-value存到cache中,再次查询时不需要访问数据库,直接从内存缓存中根据key将结果取出,可以提高很多速度。或者还有一些查询请求,查询的参数千变万化,但是结果只有固定的几类,这种更适合使用cache加速。

    Liberty 版本openstack主要是nova和keystone这方面用的比较多,来看nova中的一个例子:

    def get_instance_availability_zone(context, instance):
        """Return availability zone of specified instance."""
        host = instance.get('host')
        if not host:
            # 如果虚拟机还没有被分配到主机上,就把创建虚拟机时指定的zone信息取出返回
            az = instance.get('availability_zone')
            return az
    
        #虚拟机所在的zone取决于虚拟机所在物理机的归属的zone,所以可以生成一个
        #'azcache-主机名'样式的字符串作为cache key      
        cache_key = _make_cache_key(host)
        #获取一个连接cache的client
        cache = _get_cache()
        #尝试取出这个key在cache中的值,作为zone信息,可能为空,也可能直接是结果
        az = cache.get(cache_key)
        #取出实例对象中的availability_zone属性
        az_inst = instance.get('availability_zone')
        if az_inst is not None and az != az_inst:
            #对象属性中有zone信息,且和cache取到的zone信息不一致,那么需要重新获取zone信息
            #并且更新到cache中
            az = None
        if not az:
            #如果cache中没有取到zone信息,或者是在上一步中zone信息被清空,重新获取zone信息
            elevated = context.elevated()
            az = get_host_availability_zone(elevated, host)
            #更新cache
            cache.set(cache_key, az)
        #返回zone信息
        return az  
    

    这样除第一次查询到这台物理机上的虚拟机外,查询这台物理机上的任何虚拟机所属的zone,再也不需要访问数据库,这样极大地减少了对数据库的请求数量,提高了响应速度。
    这里支持的cache后端包括memcached,redis,mongondb或者是python的dict.目前主流openstack发行版推荐的选项是memcached,简单稳定,性能和功能够用。

    存储keystone token

    keystone中除了Fernet格式的token外,其他格式的token都需要keystone由存储起来,存储支持以下几种driver:

    • sql 将token存放在数据库中,使用这种方法需要定期清理过期token,防止token表太大影响性能。
    • memcache 将token存放到memcache中,token本身创建之后不会被修改,只会被读,所以很适合放到cache中,加速访问,放到cache中也不需要写脚本定期清理数据库中的过期token。
    • memcache_pool 在memcache的基础上,实现了memcache的连接池,可以在线程之间复用连接。

    一个常见的memcache token driver的配置可能是这样的:

    [token]
    caching = true
    provider = keystone.token.providers.uuid.Provider
    driver = keystone.token.persistence.backends.memcache.Token
    [memcache]
    servers = controller-1:11211,controller-2:11211,controller-3:11211
    

    memcache driver的缺点在于,memcache本身是分布式的设计,但是并不是高可用的,如果controller-1上的的cache服务被重启,这个节点上的所有token都会丢失掉,会带来一些错误。

    比这更糟糕的是,如果controller1网络不可达或者宕机,那么我们会观察到几乎每个openstack api请求都会有3s以上的卡顿。这是因为openstack默认使用python-memcached访问memcache,它提供的操作keystone的client继承自Thread.local类,和构建它的线程绑定。openstack服务启动后,会启动一定数量的子进程,每个http request到达,会有一个子进程接收,孵化一个线程去处理这个请求。如果用到memcache,线程会调用python-memcached
    构建一个client类,通过这个client的实例对memcache进行操作。如果访问到网络不可达的memcache节点,卡住,操作超时,将这个节点标识为30秒内不可用,在这个线程内,不会再因此而卡住,但是这个http请求结束之后,下一个http请求过来,重新孵化的线程会reinit这个client,新的client丢失了旧的client的状态,还是可能会访问到卡住的memcache节点上。

    社区之所以要做memcache_pool,就是为了解决这个问题,将client统一由pool管理起来,memcache节点的状态,也由pool管理起来,这样每个子进程里只会卡第一次,所以强烈推荐使用memcache_pool驱动而不是memcache。社区将memcache_pool的代码从keystone复制到oslo_cache项目中,希望所有使用memcache的项目都通过它的memcachepool去访问,避免这个问题。其中,nova在M版本支持,heat在L版本支持。

    具体的各个服务如何配置使用memcache_pool driver这里不再赘述。

    存储keystonemiddleware token

    我们请求任何openstack服务时,该服务都要校验请求中提供的token是否合理,这部分代码显然不是每个项目都自己实现一遍,它在keystonemiddleware项目实现,并作为filter配置在各个项目的api-paste.ini文件中,如下所示:

    [filter:authtoken]
    paste.filter_factory = keystonemiddleware.auth_token:filter_factory
    

    当请求到达服务时,由keystonemiddleware访问keystone来查询请求携带的token是否合法,通常我们一个token会使用很多次,所以keystonemiddleware建议使用memcache缓存,把从keystone取到的token缓存一段时间,默认是300秒,以减少对keystone的压力,提高性能。kolla项目中nova keystonemiddleware配置示例如下:

    [keystone_authtoken]
    [keystone_authtoken]
    auth_uri = {{ internal_protocol }}://{{ kolla_internal_fqdn }}:{{ keystone_public_port }}
    auth_url = {{ admin_protocol }}://{{ kolla_internal_fqdn }}:{{ keystone_admin_port }}
    auth_plugin = password
    project_domain_id = default
    user_domain_id = default
    project_name = service
    username = {{ nova_keystone_user }}
    password = {{ nova_keystone_password }}
    
    memcache_security_strategy = ENCRYPT
    memcache_secret_key = {{ memcache_secret_key }}
    memcached_servers = {% for host in groups['memcached'] %}{{ hostvars[host]['ansible_' + hostvars[host]['api_interface']]['ipv4']['address'] }}:{{ memcached_port }}{% if not loop.last %},{% endif %}{% endfor %}
    

    一直以来,如果不配置其中的memcached_servers的的话,每个服务每个子进程都会创建一个字典作为cache存放从keystone获得的token,但是字典内容都是相似的,如果使用统一的memcache,就不会有这方面的问题。现在master版本keystonemiddleware认为这是不合适的,会导致不一致的结果和较高的内存占用,计划在N或者O版本移除这个特性。

    存储horizon用户会话数据

    这个是django支持的功能,这里不作讨论,有兴趣的可以看The Django Book 2.0--中文版

    总结

    cache相关的具体的配置项可以参考kolla项目中的cache配置,应该还是准确合适的。

  • 相关阅读:
    从 0 → 1,学习Linux该这么开始!
    Web和移动开发的未来
    css-div中文字过多(内容超出div宽度)后自动换行
    js+css--单选按钮,自定义选中的颜色???(性别按钮,男女)
    css-按钮中有图片和文字,怎么才能让文字和图片都中??
    js-点出弹框后(除了点击窗口上的叉子),点其他地方能够关闭窗口???
    css-外面元素的高度,由里面的元素进行撑开(由内部的高度决定)
    js-将传来的数据排序,让(全部)这个小按钮小圈圈,始终排列在最前面
    echart--如何在折线图上添加矩形背景(可以借用bar柱状图的实现效果)
    echart-如何将x轴和y轴的原点进行重合???
  • 原文地址:https://www.cnblogs.com/zhangyufei/p/5565648.html
Copyright © 2011-2022 走看看