zoukankan      html  css  js  c++  java
  • 为sproto手写了一个python parser

    这是sproto系列文章的第三篇,可以参考前面的《为sproto添加python绑定》、《为python-sproto添加map支持》。

    sproto是云风设计的序列化协议,用于高效的打包解包游戏协议数据。有点类似Google推出的protobuf,但是比protobuf要快。结构上有点类似cap'n Proto,但是没有打算直接使用其作为内存组织结构,因此少了数据对齐的部分。目前使用场景主要是在游戏客户端和服务器端的RPC协议上。

    sproto比较有趣的一点,是可以自描述,用sproto协议本身描述自己:(摘自云风博客)UPDATED:博客的是错误的,正确的在代码注释里:

    .type {
        .field {
            name 0 : string
            buildin    1 :    integer
            type 2 : integer
            tag    3 :    integer
            array 4    : boolean
            key 5 : integer # If key exists, array must be true, and it's a map.
        }
        name 0 : string
        fields 1 : *field
    }
    .protocol {
        name 0 : string
        tag    1 :    integer
        request    2 :    integer    # index
        response 3 : integer # index
    }
    .group {
        type 0 : *type
        protocol 1 : *protocol
    }

    这么简单的结构,正好拿来练手写parser。Lua的LPEG库实在太强大,于是先试了一下pypeg2去解决这个问题。尝试的过程参见:https://github.com/spin6lock/sproto_python_parser,最后失败了。回想了一下,PEG文法其实跟上下文无关文法相当类似,只是不存在二义性,能够通过一个token来完全决定接下来的解析树。这个跟递归下降法有点类似了,便顺手撸了一发:https://github.com/spin6lock/yapsp

    代码主要分成两部分,lexer和parser。lexer辨别的token可以参见常量定义,基本上用正则表达式搞定了,只花了一点点时间。Parser多花了好一段,主要是忘了要封装一些方便的函数出来使用,比如expecting和optional。Parser实现的是一个基于递归下降法的语法分析器,由于sproto的语法特别简单,所以可以透过窥视下一个token,便知晓接下来要解析的是什么结构,然后调用相应的方法解析即可。

  • 相关阅读:
    重塑矩阵
    数组拆分
    最大连续1的个数
    石子游戏
    概率与期望知识总结
    洛谷 P3951 NOIP 2017 小凯的疑惑
    关于结构体的初始化
    山海经:线段树维护最大子段和
    偏序 分块+bitset
    分块练习C. interval
  • 原文地址:https://www.cnblogs.com/Lifehacker/p/python_sproto_parser.html
Copyright © 2011-2022 走看看