说起嵌入式软件测试,我们先快速了解一下嵌入式软件自身的特点。嵌入式软件具有实时性、内存空间有限、I/O通道少,而且要求功耗低、高可靠性,对成本也比较敏感,和硬件关联性强等特点。因此,嵌入式软件的测试与一般商用软件的测试有较大的区别。
嵌入式软件开发和运行的环境完全不一样,是分开的,开发在Windows/Mac OS桌面客户端(宿主机环境)上进行,而运行的环境是在目标机环境上,即一般是基于Linux/Android内核开发的嵌入式操作系统或像RT-thread那样的实时操作系统,支持ARM CPU、 MCU 和 蓝牙芯片等低功耗的关键硬件。
嵌入式软件的单元测试一般在宿主机环境下进行,只是在个别情况下(如目标机编译器可能有缺陷)会要求在目标机环境下进行,所以在单元测试上,嵌入式软件和一般商用软件的之间差别比较小。不过,嵌入式软件的单元测试对代码的质量要求比较高,一般要求达到MC/DC覆盖率。
嵌入式软件的集成测试,一般指与目标机的硬件环境集成,也可以和仿真环境集成,这时需要做相应的硬件兼容性测试。但到了系统测试、配置项测试或确认测试,一般就会在目标机环境下执行,这时和一般商用软件的测试有较大的差别。
由于嵌入式系统的实时性,其测试应充分考虑系统实时响应的问题,其响应时间一般要求在毫秒级别,其对应的负载测试少不了。在对目标机进行测试时,一般需要对在宿主机上编译通过的代码进行插桩处理。
这样可以在目标机执行程序的时候,将插桩时预测好的数据返回到宿主机上进行分析,因此,宿主机和目标机之间的数据传输也要认真对待。
除此之外,我们需要制定符合系统需求的可靠性级别和安全级别,进行相应的可靠性测试和安全性测试。嵌入式软件测试工具,开源工具比较少,多数是商业工具,而且往往成套,覆盖系统功能、性能分析和安全性测试。
今天,我们就介绍比较常用的或好用的嵌入式软件测试工具,主要有:
ETest Studio
Klocwork
Hitex TESSY
Rapita Verification Suite
Squish
Trinity DT10
VectorCAST
ETest Studio
一款国产化黑盒测试工具,可以做配置项测试和系统测试,包括测试资源管理、环境描述、接口协议定义、用例设计、实时数据监控、测试任务管理等功能。主要特点有:
- 提供各类控制总线和仪器接口API,可由开发人员集成各类通用接口板卡和用户自定义的接口板卡。支持的I/O类型包括:RS232/422/485、1553B、CAN、TCP、UDP、AD、DA、DI、DO、ARINC429等,并可灵活扩展;
- 支持对待测系统及其外围环境、接口情况等进行可视化仿真建模设计,如提供Matlab/Simulink集成接口,可实现现有仿真模型的开发和利用,支持仿真模型实时代码的生成和运行;
- 提供接口协议描述语言(DPD语言)及其编辑编译环境;
- 可通过表格、仪表、曲线图、状态灯等虚拟仪表实时监测接口数据;
- 可按二进制、十进制、十六进制监测输入与输出的原始报文并查询过滤;
- 测试脚本支持时序测试和多任务实时测试,具有可自动生成满足不同组合覆盖要求测试数据的功能;
- 提供实时内核模块,可实现高可靠性强实时测试,响应时间<=1ms,同步传送和抖动时间小于10us。上位机和下位机分别采用Windows和实时操作系统。
官网地址:http://www.kiyun.com/Show/fangzhen/cid/14/id/145.html
Klocwork
Klocwork是一款支持百万行甚至千万行以上的C/C++/Java/JS/C#代码质量静态检测工具。
利用领先的深度数据流分析技术,静态地跨类、跨文件地查找软件运行时缺陷、错误和安全漏洞,并准确定位错误发生的代码堆栈路径。
Klocwork支持自动化扫描1000多种代码缺陷,包括空指针、资源及内存泄漏、未捕获的异常、除零等,全面检测代码质量问题
Klocwork提供全面的安全规则扫描能力,支持CWE, OWASP, CERT, PCI DSS, DISA STIG, 和ISO/IEC TS 17961等标准,深度数据流分析能力强、准确率高、漏报率低
支持常用的IDE,如Eclipse, Visual Studio, IntelilJ Idea等,并与CI/CD工具和集成、B/S+C/S部署方式
Klocwork支持静态检测软件应用的安全漏洞,包括SQL注入、被污染的数据、缓存溢出、弱代码实现及其它多种常见应用安全漏洞
官网地址:
https://www.perforce.com/products/klocwork
Hitex TESSY
Tessy 源自戴姆勒- 奔驰公司的软件技术实验室,由德国Hitex 公司负责全球销售及技术支持服务,是一款专门针对基于C/C++开发的嵌入式软件进行单元/ 集成测试的工具。Tessy 也可以满足各类标准( 如ISO26262、IEC61508、EN 50128/50129 等)对测试的需求,而工具自身也通过了TUV 的认证,证明该软件是安全可靠的。
主要功能有:
- 自动生成测试环境、一键执行及评估结果
- 便捷的测试用例设计方式,如集成了分类树编辑器CTE,支持导入导出多种格式的测试用例
- 通过分析源文件自动识别函数及相关接口,在接口发生变更时,支持通过简便的操作进行测试数据复用,实现高度自动化的回归测试
- 提供分支覆盖、MC/DC、多条件覆盖MCC等多种覆盖度分析。
- Static code anlaysis
- Test case specification
- Working with standards
- Analyzer
- Hardware-in-the-loop test
官网地址:https://www.hitex.com/embedded-services/testing
Rapita Verification Suite (RVS)
RVS是一套面向嵌入式软件的测试工具集,支持MC/DC覆盖率分析,满足DO-178C和ISO 26262认证要求。其中RapiTest具有易于编写和易于审查但功能丰富的测试格式,以及创建多线程测试和测试代码元素(如泛型和私有类型)的能力(无需编写源代码)。
- 单元、集成和系统测试的生成和执行 - RapiTest
- 结构性代码覆盖率分析 - RapiCover
- 执行时间分析 - RapiTime
- 调度分析 - RapiTask
官网地址:https://www.rapitasystems.com/products/rvs
Squish
Froglogic公司的Squish是广受欢迎的跨平台、多技术融合的GUI 测试工具,尤其是对如下应用提供专业和全面的支持:Qt、Java GUIs、Web、Linux、Windows、IOS和android等。Squish支持BDD、数据驱动、 分布式批量测试和视觉验证等,识别自定义的控件或2D/3D图像,支持多种脚本语言:Python、Perl、JavaScript、Ruby和Tcl,平台有两大产品:
- Squish:自动化GUI测试
- Squish CoCo:代码覆盖率分析
官网地址:https://www.froglogic.com/squish/
DT10
DT10(Dynamic Test Tool DT10 )是一款支持C/C++, C#, Java等多种语言的软件灰盒测试和系统动态跟踪调试工具,利用领先的自动化代码插装和数据采集技术,支持对软件系统的复杂的、偶发的缺陷的回溯调试、性能测试、CPU负载分析、变量监控、逻辑分析、内存使用分析、硬件监测和分析,及覆盖率分析等灰盒测试场景。DT10由硬件设备Dynamic Tracer和PC端软件两个主要部分组成,软件部分负责源码插装、数据处理和结果分析等,硬件部分复杂接口、信号采集和数据通讯。。强大的缺陷回溯定位能力、
- 支持跟踪和检测软件执行过程中的路径、变量和各种中间状态
- 支持监测和分析系统运行过程中的硬件状态并和软件状态同步分析
- 支持长达一个月的长时间不间断测试,实时动态更新的覆盖率分析
- 性能测试功能可以细化任意代码模块,并精确到ns
- 不依赖于被测系统的CPU和OS类型
- 支持串口、以太网口、异步总线、GPIO, SPI, SD卡和CAN总线等丰富的接口类型
官网地址:https://trinitytec.com.cn/product-204
VectorCAST
VectorCAST是适用于嵌入式软件应用的高可靠性和高安全性软件的自动化动态测试工具链,适用于单元测试、集成测试、覆盖率分析、回归测试、静态分析、系统测试和质量分析等软件测试所涉及的各个环节。支持C/C++和Ada语言,内建多种智能的自动化测试用例生成算法,符合多种行业认证的标准,如DO-178B/C, ISO 26262, ASPICE, IEC 61508, En 50128, IEC 62304, IEC 60880等。