
版本迭代的速度越来越快,由原来的每周一次变成了每天一次,传统的回归测试已经无法完成所有的核心流程了。自动化的冒烟测试和性能基准检查正逐渐成为发布流水线上的两道重要关卡。
冒烟测试是在构建产物部署之后自动执行的,它包括了登录、核心交易、数据读写和第三方回调等主要的接口以及重要的页面渲染。用例集要简单一些,在十分钟内完成所有测试,一旦有失败就会阻止发布并且返回失败的节点和日志片段。用例维护用“随功能上线同步合入”的方式来进行,防止脚本落后于业务变化而成为摆设。
性能基准测试是在同一个压测脚本中进行的,把上一版稳定的关键指标和当前版本进行比较:P99延迟、吞吐量、错误率、内存增长以及GC停顿等。如果偏移量超过了设定的阈值,则该接口会被标记为回归点,需要找到根本原因后才能通过。基线数据按照版本号保存下来,可以形成一条性能曲线来辅助容量规划和瓶颈分析。
两者的结合点就是环境一致性和数据可比性,压测集群规格、数据集大小以及并发模型都要保持一致,防止因环境变化而产生虚假信号。有些团队把基线验证加入到灰度发布的过程中去,在小流量阶段就进行初步对比,提前发现了潜在的风险。
自动冒烟测试保证基本功能不出现问题,性能基准线保证用户体验不会下降。把这两个标准放在生产线上,形成固定的阈值,在发布之前要进行质量检验,不能依靠个别案例来验证。