测试技术栈
黑盒测试，白盒测试，灰盒测试，QTP，LR
Web测试，Selenium,Junit,Cucumber,Watir,RF
APP测试，APPium,Robtium,instruments-Automation,monken,Mock,SDK,H5
接口测试，RestAssured,Jmeter,性能压测，APP专项，STF,CI,全链路，监控
Docker,ELK,RPF接口测试，自动化平台，流量回放，精准自动化，代码扫描，APM,Trace
CD,测试中台，效能工具，DevOps，专项，稳定性，数据质量，算法评测
线下监控
模型质量
模型评估，模型性能，特征计算，特征调度，特征分析，样本验证
数据质量
源到目标，数据约束，关键字段，完整性，准确性，性能，规则，一致性，元数据
工程质量
业务逻辑，白盒测试，静态检查，条件覆盖，分支覆盖，接口测试
自动化，工具化，服务化，可视化，CD4ML
CD4ML:
利用机器学习交付（CD4ML）使业务应用和服务智能化，并不仅仅是训练模型并为其提供服务。它需要实现一整套端到端、持续可重复的模型训练、测试、部署、监控和运维周期。机器学习下的持续交付
是一种可靠的端到端开发、部署和监控机器学习模型的技术。支撑CD4ML的基础技术栈包括数据访问和探索工具、工件（例如数据、模型和代码）的版本控制、持续交付流水线、用于各种部署和实验的自动化环境设置、模型性能评估和跟踪，以及模型运作的可观测性。公司可以根据现有的技术栈选择自己的工具集。CD4ML强调自动化和避免手工交接。CD4ML是我们开发机器学习模型的默认方法。
在构建和部署模型的端到端过程中，CD4ML消除了不同团队、数据工程师、数据科学家和ML工程师之间的手动传递。使用CD4ML，我们的团队成功地实现了基于ML的应用程序所有组件的自动化版本管理，测试和部署，包括数据，模型和代码。
线上监控
服务监控，日志监控，数据监控，模型监控，特征监控。。。。
服务监控：
1.编码粗心导致的PHP Syntax/Parse Error
2.程序代码中的PHP Fatal Error
3.程序代码中的PHP Warning
4.数据库访问导致的DB Error/Timeout等
5.缓存系统Redis相关的错误
6.缓存系统Memcache相关的错误
7.线上接口的可用性监控
8.线上接口的响应时间监控
DB、Memcache、Redis相关错误的监控
1. 具体的SQL
2.具体的DB、Table
3.错误栈
4.对应的接口名称
5.服务器IP
6.具体错误号（内容）
7.出错的Memcache Key
8.错误栈
9.对应的接口名称
10.服务器IP
日志监控：
日志的收集及日志处理
日志的收集分类两大部分
1.Nginx日志和数据库运行日志
2.Tomcat类型的服务，选择使用log4j内置的fulume-appender方式来实现
对于收集到的日志，统一采用kafkaSink的方式输送到后续的kafka中，以备后续处理。
日志处理部分：
对于收集到的日志，我们采用的是Spark-Streaming工具，将其与kafka对接
