zoukankan      html  css  js  c++  java
  • paste deploy 学习笔记

      谈到WSGI,就免不了要了解paste,其中paste deploy是用来发现和配置WSGI应用的一套系统,对于WSGI应用的使用者而言,可以方便地从配置文件汇总加载WSGI应用(loadapp);对于WSGI应用的开发人员而言,只需要给自己的应用提供一套简单的入口点即可。

      PasteDeploy的官方文档在这里,其发布在Pypi上的发行包在这里下载。借助Python的pypi包管理机制,我们可以非常方便地安装PasteDeploy:

    # pip install PasteDeploy

      

      下面的词语每组内的等价:

      1. 应用,app,application;

      2. 过滤器,filter;

      3. 管道,pipeline;

      4. 工厂函数,factory;

      5. 组合, composite;

      6. 类型, type;

      7. 段, section

      这些都是PasteDeploy的基本概念,非常容易识别。

      既然PasteDeploy是用来配置和管理WSGI 应用的,不妨首先看一下PasteDeploy配置文件的格式。

      一、PasteDeploy配置文件格式

      

      PasteDeploy配置文件由若干section组成,section的声明格式如下:

      [type:name]

      其中,方括号括起的section声明一个新section的开始,section的声明由两部分组成,section的类型(type)和section的名称(name),如:[app:main]等。section的type可以有:app、composite、filter、pipeline、filter-app等。

      每个section中具体配置项的格式就是基本的ini格式: key = value ,所有从PasteDeploy配置文件中提取的参数键、值都以字符串的形式传入底层实现。

      此外,PasteDeploy的配置文件中使用“#”标注注释。

      在基本了解PasteDeploy配置文件的书写格式后,我们不妨看一个实例,来具体了解不同type的section。

      

      二、PasteDeploy中section的不同type

      

      示例1:PasteDeploy配置文件

    复制代码
      [composite:main]
      use = egg:Paste#urlmap
      / = home
      /blog = blog
      /wiki = wiki
      /cms = config:cms.ini
    
      [app:home]
      use = egg:Paste#static
      document_root = %(here)s/htdocs
    
      [app:wiki] 
      use = call:mywiki.main:application 
      database = sqlite:/home/me/wiki.db
    
      [filter-app:blog] 
      use = egg:Authentication#auth 
      next = blogapp 
      roles = admin 
      htpasswd = /home/me/users.htpasswd 
    
      [app:blogapp]
      use = egg:BlogApp
      database = sqlite:/home/me/blog.db
    
      [app:main]
      use = egg:MyEgg
      filter-with = printdebug
    
      [filter:printdebug] 
      use = egg:Paste#printdebug 
    
      [pipeline:main]
      pipeline = filter1 filter2 filter3 app
      ...
    复制代码

      上面的示例文件列出了若干不同type的section示意,下面就一一探讨PasteDeploy可定义的section type.

      

      2.1  Type = composite(组合应用)

      顾名思义,组合应用由若干WSGI应用组成,composite为这些应用提供更高一层的分配工作。

      下面具体分析示例1中的如下部分:

    复制代码
    [composite:main]
    use = egg:Paste#urlmap
    / = home
    /blog = blog
    /wiki = wiki
    /cms = config:cms.ini
    复制代码

      该段配置文件定义了一个名为main、类型为composite的section,方括号的声明以下是该section的具体配置,遵循 key = value 的统一格式。

      Composite类型的section将URL请求分配给其他的WSGI应用。 use = egg:Paste#urlmap 意味着使用 Paste 包中的 urlmap 应用。urlmap是Paste提供的一套通用的composite应用,作用就是根据用户请求的URL前缀,将用户请求映射到对应的WSGI应用上去。这里的WSGI应用有:"home", "blog", "wiki" 和 "config:cms.ini"。

      最后一项仅仅是参考了同一个目录中的另一个文件"cms.ini"

      

      2.2  Type = app(WSGI应用)

      回到示例1中的下一部分:

    复制代码
    [app:home]
    use = egg:Paste#static
    document_root = %(here)s/htdocs
    
    [app:wiki] 
    use = call:mywiki.main:application 
    database = sqlite:/home/me/wiki.db
    复制代码

      app类型的section声明一个具体的WSGI应用。调用哪个python module中的app代码则由的use后的值指定。

      这里的 egg:Paste#static 是另一个简单应用,作用仅仅是呈现静态页面。它接收了一个配置项: document_root ,后面的值可以从全局配置[DEFAULT](大小写敏感)中提取,提取方法s是使用变量替换:比如

      %(var_name)s 的形式。

      这里 %(here)s 的意思是这个示例配置文件所在的目录,因为相对路径在不同服务器中的解释方法不同,出于移植性的考虑,官方文档上推荐当前这种写法。

      示例中定义了多个app类型的section,因为PasteDeploy的配置文件中允许定义多个app类型的section,同时要求每个WSGI应用也都应该拥有自己的section。这样,每一个WSGI应用在配置文件中都有一个

    app类型的section与之对应,默认地,"main"应用对应于 app:main 或 app 。

      应用的具体实现要在section中配置,有两种方法专门用于指出应用对应的代码:使用URI(用use标识)或 直接指向实现代码(用protocol标识)。

      

      2.2.1  使用另一个URI

      采用该方法的特点是指出应用的实现代码的那一条 key = value 配置项采用"use"作为键,该方法也有许多变种,官方的示例中给出了一些介绍:

    复制代码
    [app:myapp]
    use = config:another_config_file.ini#app_name
    
    # 或任意URI:
    [app:myotherapp]
    use = egg:MyApp
    
    # 或指明某个模块中的可调用:
    [app:mythirdapp]
    use = call:my.project:myapplication
    
    # 甚至是其他的section:
    [app:mylastapp]
    use = myotherapp
    复制代码

      最后指向其他的section的那个例子,看起来似乎没有什么意义,似乎只是两个相同的WSGI应用。但是这样的定义允许我们在 [app:mylastapp] 这个应用中定义一些局部的配置项,从而在重用代码的同时覆写它引用的应用配置。

      2.2.2  直接指向应用的实现代码

      采用该方法的特点是指出实现代码的那一条 key = value 配置项采用“协议”作为键,所谓“协议”即protocol,告诉PasteDeploy即将加载的对象类型,如:

    [app:myapp]
    paste.app_factory = myapp.modulename:app_factory

      该例的protocol paste.app_factory 是一个应用的工厂函数,指明import对象的类型;值 myapp.modulename:app_factory 指明具体加载的模块和方法。

      关于PasteDeploy的协议,进而可以定义的工厂函数类型,我们在下文对所有section可选的type有一定的了解后再进行探讨。

      

      2.3  Type = filter(过滤器)

      filter是作用于WSGI应用上的函数或方法,以app为唯一的参数,并返回一个“过滤”后的app。归功于WSGI接口的规范,不同的filter可以依次“过滤”某一app,事实上多个filter处理一个app也就是下文中提到的管道(pipeline)。

      在PasteDeploy的配置文件中有多种方法来“过滤”应用,比如示例1中:

    复制代码
    [app:main]
    use = egg:MyEgg
    filter-with = printdebug
    
    [filter:printdebug] 
    use = egg:Paste#printdebug
    复制代码

      在 [app:main] 的 filter-with 字段指明用来处理该应用的filter,就指定了名为"printdebug"的filter来处理应用"main"。在 [filter:printdebug] 中还可以定义新的 filter-with 字段,从而将处理关系延续下去。

      

      2.4  Type = filter-app

      同样是处理应用,在PasteDeploy配置文件中可以有着不同的写法,比如示例1中的下面部分,就是使用filter-app类型的section来声明一个filter:

    复制代码
    [filter-app:blog] 
    use = egg:Authentication#auth 
    next = blogapp 
    roles = admin 
    htpasswd = /home/me/users.htpasswd 
    
    [app:blogapp]
    use = egg:BlogApp
    database = sqlite:/home/me/blog.db
    复制代码

      该部分采用了[filter-app:NAME]类型的section声明了一个filter,指定使用的代码,以及要处理的应用: next 字段的值。从而PasteDeploy会自动地将过滤器"blog"作用在应用"blogapp"上。

      2.5  Type = pipeline

      pipeline便于对一个应用添加多个过滤器,比如示例1中:

    [pipeline:main]
    pipeline = filter1 filter2 filter3 app

      就指定了在app上施加三个filter进行处理。

      总结起来,想要在某个应用前添加多个filter,共有 [filter-app:...]  [pipeline:...] 和 [app:...] filter-with = ... 等方法。

      三、局部配置与全局配置

      3.1  局部配置与全局配置的格式

      PasteDeploy配置文件的所有配置项均使用 key = value 格式,但是局部配置项和全局配置项定义的位置不同。如:

    复制代码
    [app:blog]
    use = egg:MyBlog
    database = mysql://localhost/blogdb
    blogname = This Is My Blog!
    
    [app:otherblog]
    use = blog
    blogname = The other face of my blog
    复制代码

      每一个section内设置具体的键值关系,构成这些section自己的局部配置。

      为了便于不同的应用读取某些固定的系统信息,PasteDeploy允许设置全局配置变量,所有的全局配置必须放在[DEFAULT]字段下设置,如:

    复制代码
    [DEFAULT]
    admin_email = webmaster@example.com
    
    [app:main]
    use = ...
    set admin_email = bob@example.com
    复制代码

      注意[DEFAULT]段名是大小写敏感的,因此必须严格大写。

      3.2  局部配置和全局配置的覆写

      3.1中的两个例子,实际上展示了局部配置和全局配置的覆写,这里详细介绍,首先看局部配置的覆写:

    复制代码
    [app:blog]
    use = egg:MyBlog
    database = mysql://localhost/blogdb
    blogname = This Is My Blog!
    
    [app:otherblog]
    use = blog
    blogname = The other face of my blog
    复制代码

      从2.2.1中已经知道,一些section可以直接复用其他section的代码,并定制配置信息,这里 [app:otherblog] 就采用了 [app:blog] 的代码,同时将配置项 blogname 改为自己特定的。

      另一方面,应用在本地可以修改全局配置项的值:

    复制代码
    [DEFAULT]
    admin_email = webmaster@example.com
    
    [app:main] use = ... set admin_email = bob@example.com
    复制代码

      只需要在要覆写的键前加 set 即可。

      

      至于为什么要探讨局部配置与全局配置,是因为二者在传递给不同类型的factory function时对应的参数不同,这些将在下文详细探讨。

      四、实现factory函数

      本文的第二部分探讨了PasteDeploy中的若干种“协议”,事实上对应了实现时的不同类型,包括 paste.app_factory  paste.composite_factory  paste.filter_factory  paste.server_factory 等。这些“协议”的 value 都必须是一个可调用(函数、方法、类、可调用对象等)。

      这些“协议”封装WSGI应用,使其成为app、composite、filter等类型的组件,这些factory对应的格式有

      4.1  paste.app_factory

       这是最常见的factory,接收配置参数,用来返回一个WSGI应用,第三部分中介绍的全局配置以字典的形式传入,局部配置则以关键字参数(keyword arguments)的形式传入。

    def app_factory(global_config, **local_conf):
        return wsgi_app

      4.2  paste.composite_factory

    def composite_factory(loader, global_config, **local_conf):
        return wsgi_app

      是不是与 app_factory 非常相似,composite的factory函数就是在app factory的基础上增加了 loader 参数,该参数有一些方法,比如 get_app(name_or_uri, global_conf=None) 返回指定名称的WSGI应用, get_filter 、 get_server 也有着类似的作用。

      下面是官方给出的一个composite_factory的示例:

    复制代码
    def pipeline_factory(loader, global_config, pipeline):
        # space-separated list of filter and app names:
        pipeline = pipeline.split()
        filters = [loader.get_filter(n) for n in pipeline[:-1]]
        app = loader.get_app(pipeline[-1])
        filters.reverse() # apply in reverse order!
        for filter in filters:
            app = filter(app)
        return app
    复制代码

      事实上,这也是一个pipeline factory,这个例子需要搭配PasteDeploy配置文件的具体配置工作,其中的filter、app等也都需要额外实现:

    复制代码
    [composite:main]
    use = <pipeline_factory_uri>
    pipeline = egg:Paste#printdebug session myapp
    
    [filter:session]
    use = egg:Paste#session
    store = memory
    
    [app:myapp]
    use = egg:MyApp
    复制代码

      这个factory将PasteDeploy配置文件中某个pipeline section中的filter与app分离,将位于管道末端的app(myapp)作为参数依次传递给filter(printdebug, session),由于filter一旦处理成功也返回一个app,否则拦截用户请求,所以这个过程可以一直持续下去,直至所有的filter对app进行完处理。

      4.3  paste.filter_factory

      filter factory与app factory非常相似,只是返回filter而不是WSGI app。filter必须是可调用的,接收WSGI app为唯一的参数,返回处理过的该app。paste deploy官方也给出了一个这样的例子:

    复制代码
    def auth_filter_factory(global_conf, req_usernames):
        # space-separated list of usernames:
        req_usernames = req_usernames.split()
        def filter(app):
            return AuthFilter(app, req_usernames)
        return filter
    
    class AuthFilter(object):
        def __init__(self, app, req_usernames):
            self.app = app
            self.req_usernames = req_usernames
    
        def __call__(self, environ, start_response):
            if environ.get('REMOTE_USER') in self.req_usernames:
                return self.app(environ, start_response)
            start_response(
                '403 Forbidden', [('Content-type', 'text/html')])
            return ['You are forbidden to view this resource']
    复制代码

      该filter factory产生一个简单的认证过滤器,过滤器工厂函数接收配置参数,进行处理后和app一起传给真正实现过滤器功能的类 AuthFilter 。

       auth_filter_factory 中的 filter 方法就是封装了具体实现的过滤器,它只接收WSGI app作为自己的参数,具体的配置参数和认证逻辑则由 class AuthFilter 的实例完成。

       class AuthFilter 的实例是一个可调用对象,事实上其 __call__ 方法就是实现了一个符合WSGI 规范的app。WSGI app以CGI形式的环境变量environ和回调函数为参数。本例的逻辑很简单:如果在server发来的环境信息中包含了外部认证时设置的"REMOTE_USER",则直接返回传进来的app,否则拒绝用户的认证请求。

      WSGI app通过 return 语句返回HTTP Response body,由参数中的回调函数返回HTTP 响应状态码和HTTP Response header,这都属于WSGI的规范,这里不做深入探讨。

      4.4  paste.filter_app_factory

      与filter_factory 非常相似,只是接收和返回的均为WSGI app,没有filter。

      4.3示例中如果进行如下修改:

    class AuthFilter(object):
        def __init__(self, app, global_conf, req_usernames):
            ....

      那么 class AuthFilter 就是一个filter_app_factory, 对比4.1的 paste.app_factory 和4.3的 paste.filter_app_factory 即可理解。

      4.5  paste.server_factory

      返回WSGI server。

      WSGI server接收唯一的参数——WSGI app,并为其服务。一个简单的 paste.server_factory 例子如下:

    复制代码
    def server_factory(global_conf, host, port):
        port = int(port)
        def serve(app):
            s = Server(app, host=host, port=port)
            s.serve_forever()
        return serve
    复制代码

      该工厂函数同样封装了配置参数等信息,返回一个只接收WSGI app做参数的可调用,至于  class Server 就留待具体实现。

      4.6  paste.server_runner

      与paste.server_factory 类似,只是WSGI app应该以第一参数传入,同时返回的server要立即运行。

      总结

      本文是学习PasteDeploy时的笔记,资料文档的示例非常丰富通俗,就是逻辑比较凌乱,读起来总觉的别扭。经过整理,看起来觉得思路清晰多了。结合WSGI规范,对Python下网络开发又有了进一步的理解。

    2014.12.17 补充:

    paste.deploy.wsgi

    paste.deploy.loadwsgi.loadapp(uri, name=None, **kw) 
      
      
    paste.deploy.loadwsgi.loadserver(uri, name=None, **kw) 
      
      
    paste.deploy.loadwsgi.loadfilter(uri, name=None, **kw) 
      
      
    paste.deploy.loadwsgi.appconfig(uri, name=None, relative_to=None, global_conf=None) 
      这个项目的文档真是不怎样,loadapp 到底怎么用,这里说是在paste.deploy的wsgi模块下,在实际项目和文档的其他位置中直接位于 paste.deploy 下的。这里直接扔了四个函数不给任何说明,服了服了。
     

      原创作品,转载注明本文出处:http://www.cnblogs.com/Security-Darren/p/4087587.html

     
  • 相关阅读:
    jquery中ajax请求的使用和四个步骤示例
    jzoj6094
    2019.03.27【GDOI2019】模拟 T3
    AGC019F
    浅谈高维前缀和
    刷题清单
    为什么要遍历两次?——个人对于kosaraju算法的理解
    我的黑客和渗透测试学习路线
    一个假猪套神器:NET CAT-NC
    kali linux(二):使用与介绍
  • 原文地址:https://www.cnblogs.com/Mikusa/p/12558993.html
Copyright © 2011-2022 走看看