4G模组软件测试规范 - Shaofa/AITC-Manual GitHub Wiki
1.本规范适用于所有接入阿里云平台的4G模组
2.如设备支持MQTT+CoAP的通信模式，需要编译MQTT版，使用本文档进行自测；再编译CoAP版，使用本文的再进行自测。
3.通信模式为MQTT：
如模组对外接口为AT指令，则如认证、连接、发送(发布)、接受(订阅)则都通过AT指令来完成。
如模组对外接口为C函数，则开发者需要先开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证、参数配置、连接等操作，其中，cleansession为0，keepalive为60，一点设备断开连接，即自动进行连接操作。
3）设备连接动作完成，即自行完成订阅topic：/productkey/devicename/get
4）设备每收到/productkey/devicename/get 来的消息，则将其payload原样通过topic：/productkey/devicename/update 发布，Qos为1
4.通信模式为CoAP：
如模组对外接口为AT指令，则用例中需要进行收发动作的，只需要发送（即只需要设备上报，如高频压测只需要测试设备每1s发送3个消息，运行24h）
如模组对外接口为C函数，则开发者需要开发一套上层应用，需满足：
1）设备预先烧录devicekey、devicename、devicesecret等值
2）设备启动完成，即自行完成认证
3）需要有单独测试CoAP压测的两个固件：一个固件周期性每1s发送1个消息，一个固件周期性每1s发送3个消息
用例编号：WL-4G-101
用例名称：认证连接
测试目的：验证模组可以正常认证连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-102
用例名称：断电连接
测试目的：验证模组在异常断电后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组断电，并重新上电，与云端进行通信
3.重复步骤2，10次
预期结果：
1.步骤3，通断电10次每次上电后都可以正常连接云端，进行数据通信
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-103
用例名称：断网连接
测试目的：验证模组在断网后，重新上电可以正常连接
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置10min后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-104
用例名称：长时间断网
测试目的：验证模组在异常断网后，重新联网可以正常连接云端
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.模组不会断电，置于屏蔽环境，与云端进行通信
3.屏蔽环境放置12h后，再放置在开放环境
预期结果：
1.步骤2，模组和云端连接断开，且模组不断尝试重连云端
2.步骤3，模组在开放环境下，可以再次重新连接云端，且收发消息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-105
用例名称：弱网通信
测试目的：验证模组在弱网环境下，设备无异常
测试步骤：
1.模组处于弱网环境（丢包率80%以上），模组上电，进行网络连接
2.弱网环境放置1h，期间模块周期publish消息到云端
预期结果：
1.步骤2，恢复正常网络后，可正常收发包
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-106
用例名称：弱网断连
测试目的：验证模组在弱网环境异常断网，可以重新入网收发信息
测试步骤：
1.模组处于弱网环境，模组断电，再次上电进行网络连接
2.处于弱网环境放置10min后，再放置在开放环境
预期结果：
1.步骤1，模组和云端连接断开，且模组不断尝试重连云端，入网成功
2.步骤2，模组和云端连接，收发信息正常
3.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-107
用例名称：制式自适应
测试目的：验证模组可在2G\3G\4G制式之间切换
测试步骤：
1.模组处于开放环境，模组上电，进行网络连接
2.控制模块不断向云端publish消息，频率1pps
3.模块切换工作模式，4G->3G,4G->2G,2G->4G,3G->4G
预期结果：
1.步骤1，可以正常连接云端，进行数据上下行通信
2.步骤2，模块发布消息正常
3.模式切换时，模块不会出现异常
4.切换制式导致连接断开属于正常现象
5.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-201
用例名称：终端状态上报时长
测试目的：验证模组功能或者状态发生变化时，及时上报变更后的属性数据到服务端
测试步骤：
1.模组上电，进行网络连接
2.模组上报状态，收发信息，查看log，确认模组从收到指令到上报该属性数据的时长
3.可查看模组从PUB到收到PUBACK的时长T，状态上报时长=T/2
预期结果：
1.时长≤1秒
2.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-202
用例名称：长包通信
测试目的：验证模组收发长度较长的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发payload长度为1024字节消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-203
用例名称：短包通信
测试目的：验证模组收发长度较短的消息时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发payload长度为1字节消息，每5s收发一次，持续30min
预期结果：
1.模组收发数据正常
2.丢包率≤5%
3.无重连
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-204
用例名称：低频压测
测试目的：验证模组在长时间低频压测时，设备离线次数、数据丢包等指标符合预期
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发一次，持续48H
预期结果：
1.离线次数≤6次
2.丢包率≤5%
3.离线再上线时长≤10min
4.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注：
用例编号：WL-4G-205
用例名称：高频压测
测试目的：验证模组在高频压测时，设备无异常
测试步骤：
1.模组联网，连接云端
2.模组收发消息，每1s收发3次，持续1H
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注
用例编号：WL-4G-206
用例名称：大流量测试
测试目的：验证模组在较高性能长时间运行时，无异常
测试步骤：
1.模组联网，连接云端
2.模组以不低于1MB/S的速率跑流量（PC通过模组上网，下载1G左右的内容）
3.1G的文件下载完成
预期结果：
1.系统无crash，fail，error，assert，abort，内存泄漏，阻塞等异常
备注