- CI,执行效率很重要,需要考虑并行测试.
- 执行生命周期不建议使用任务的方式,有时候因为程序bug,没有接收到任务,可能无法判断,是否是CI成功.整个设计应该更简单一些,简单更强壮一点.
- 语言建议选择脚本语言,更新部署比较容易,开发效率也相对较高
- 将测试分层,基本的HTTP error,可以使用全局控制,集成测试,还是需要写脚本
- 录制可以作为辅助工具,不可以作为判定标准
- 提供可追溯的日志,建议结合现有测试框架(xxunit),并且记录http的request和resonse
- 在测试报告中带上这些日志,可以让程序员马上定位到
- 数据库建议使用内存数据库,比如mongo之类的,有可能你还需要用到redis.并行测试很可能需要加一些锁.文件有个比较大的问题是需要加写锁
- 尽可能不要用java,类型转换会使代码量大大增加
- 建议脱离jenkins依赖,使之可以单独运行
- 不同环境,可以使用统一配置,然后使用环境变量作为参数传入
- CI的情况很复杂,最好在整个软件的生命周期里按照一定的频率执行.运营产生的数据可能会使接口返回不可预期.
- 邮件通知名单可以和项目绑定,并且控制发送策略,有时候邮件刷屏会让程序员忽略.
- 生产环境做接口测试可能会产生大量对业务干扰的数据,这个需要提前做策略
- 测试脚本,最好是即放即用的,这就是脚本语言的好处
- 尽可能不要使用DSL
- 注意测试框架的强壮性,任何框架错误可能导致大量发送邮件