云教室移动端专项测试

原创房建宇新东方技术

背景

随着云教室功能的不断丰富和服务的不断优化，测试的范围也在不断扩大；云教室的测试场景始终以师生教室内交互为主。其中移动端用户主要是上课的学生群体，还有部分机型可以作为老师上课的手写板使用。

由于移动设备具有种类繁多，使用场景复杂等特点，所以我们需要针对云教室的移动端做一些必要的专项测试，以提前发现和解决更多软件存在的问题。

一. 安全测试

安全测试以发现安全隐患为目标

1. 软件权限

1.隐私泄露风险：包括访问手机信息、接入互联网、用手机拍照或录音、读取用户数据、写入用户数据

2.对云教室中的输入有效性校验、认证、授权、敏感数据存储、数据加密等方面进行检测

集团信息安全组检测到我们的登录接口有安全隐患：

有些接口目前还兼容支持用户ID(uid,userId)参数，因uid是自增的，所以可以被遍历，导致其他用户信息可被窃取。

解决办法：服务端使用token判断，对传入的用户ID参数不做处理，客户端请求中上传token

云教室的数据上报：

用户行为监控日志【用户记录用户使用云教室的操作事件】：

用户观看回放日志【用于记录用户观看回放中的操作事件】：

3.数据泄漏、非法授权访问等

Todo：启用静态代码检查提前发现此类问题；

使用如下工具类似于动态代码检测，可以在测试过程中实时监控异常情况的发生和保留日志

2. 安装卸载和升级安全性

验证App的安装卸载和升级过程中对系统资源的占用

考虑覆盖安装，升级安装的情况下前后数据的一致性

3. 数据安全性

1.当将密码或其他的敏感数据输人到应用程序时, 其不会被储存在设备中, 同时密码也不会被解码

2.个人身份证或密码长度必需至少在4-8 个数字长度之间，输人的密码将不以明文形式进行显示

3.在数据删除之前，应用程序应当通知用户或者应用程序提供一个“取消”命令的操作，取消命令操作能够按照设计要求实现其功能

4.应用程序读和写数据正确，如果数据库中重要的数据正要被重写，应及时告知用户

4. 通讯安全性

1.在运行其软件过程中, 如果有来电、短信、蓝牙、红外、NFC等通讯或充电时，是否能暂停程序，优先处理通信，并在处理完毕后能正常恢复软件，继续其原来的功能

2.应能处理网络异常、通讯延时或中断，并能及时将异常情况通报用户

5. 人机接口安全性

1.返回菜单总保持可用

2.命令有优先权顺序

3.手机的功能设置不影响应用程序的功能，如声音，亮度，息屏时间，护眼模式等

4.应用程序必需能够处理不可预知的用户操作, 例如错误的操作和同时按下多个键

android端考虑使用monkey

adb shell monkey -p 包名 -v 1000

二. 静态代码检查

代码检查分为：

动态检查：程序运行时检查，侧重于内存和资源使用情况检查；

静态检查：指不运行被测程序本身，仅通过分析或检查源程序的语法、结构、过程、接口等来检查程序的正确性。

1.OCLint

OCLint是一款静态代码分析器，可用于分析C, C++ 和 Objective-C代码中隐含的问题：

可能出现的 bug：if/else/try/catch 等条件语句空的声明
未使用的代码：未使用的局部变量以及参数
复杂的代码逻辑：高循环复杂度、NP 复杂度、高 NCSS
冗余代码：冗余的条件表达式以及无效的括号
代码嗅觉：方法代码行过长或者参数过多
不好的代码习惯：颠倒的逻辑和参数的错误分配

运行检查

xcodebuild -workspace RoomBox.xcworkspace -scheme RoomBox -configuration Debug | xcpretty -r json-compilation-database -o compile_commands.json

通过管道，将xcodebuild的输出直接传递给xcpretty
xcpretty用于将 xcodebuild 生成的 log 文件 xcodebuild.log 转换为 JSON Compilation Database format 类型

oclint-json-compilation-database 的作用是在 JSON Compilation Database format 类型的编译文件 compile_commands.json 中提取必要的信息。

在工程根目录下生成报告文件

oclint_result.html

2.Infer

首先infer是facebook开源的一款静态代码扫描工具。

infer是基于分离逻辑（Separation logic）和Bi-abduction 来实现的，可以对 Java、C 和 Objective-C 程序进行分析，此工具是用 OCaml写成的。

infer命令使用：

infer --keep-going --no-xcpretty – xcodebuild -workspace RoomBox.xcworkspace -scheme RoomBox -configuration Debug -sdk iphonesimulator

infer扫描结果：

infer扫描完成后，会在你扫描文件的路径中，多出一个名字叫做“infer-out”的文件夹，里面有多个文件，最主要的是bugs.txt和report.json，可以看出具体的问题。
infer扫描结果版本对比：每次infer扫描，都会输出一个report.json的文件，可以利用这个文件对比，输出文件对比结果，需要使用infer的reportdiff命令，输出两次infer扫描的对比结果，命令如下：
infer reportdiff --report-current infer-out/report.json --report-previous report.json
使用上面命令，会在 infer-out中多出来一个文件夹differential，文件中有三个json文件分别为：introduced.json：新增问题fixed.json：新版本修复问题

3.SonarQube

SonarQube(sonar)是一个开源平台，用于管理源代码的质量。SonarQube不只是一个质量数据报告工具，更是代码质量管理平台。支持java, C#, C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等等二十几种编程语言的代码质量管理与检测。

使用Docker搭建SonarQube检测代码质量【过程略】

启动 sonarqube

docker run --name sq —link postgresqldb -e SONARQUBE_JDBC_URL=jdbc:postgresql://db:5432/sonar -p 9000:9000 -d sonarqube

sonar使用

在工程的根目录下编辑下面文件：

sonar-project.properties

sonar-scanner.properties

执行：sonar-runner命令

三. 性能测试

评估云教室的时间和空间的特性

1. 压力测试

多视频课最多12人在线，最多支持14路视频流；小班课最多6人连麦轮台，最多支持8路视频流

测试此状态下发聊天弹幕，美颜的FPS以及数据上报的稳定性

2. 性能评估

每两秒一次的数据打点监控：

第三方软件数据监控测试中：

测试数据存档：

3. 竞品对比测试

竞品：ClassIn、学而思网校、猿辅导、作业帮、高途课堂
中国教育类免费App排行榜排名情况【2021年5月8日上午数据，来源于蝉大师】：
作业帮【2】猿辅导【20】高途课堂【22】学而思网校【26】ClassIn【171】新东方云教室【305】
现阶段主要从软件的功能和易用性角度对比调优，根据业务需要也应该关注安全、性能、兼容性等方面的问题。

四. 兼容性测试

背景：云教室的兼容性问题可能会导致流失潜在的客户，为了尽量减少因兼容性问题导致的同类问题，进一步提高产品的质量，提升用户体验，所以进行兼容性测试，尽可能多的保证更多的用户都可以正常使用云教室。经过短期和持续的兼容性测试投入换取更多的合作机会和使用用户。

1. 手机型号，操作系统，屏幕形状，刷新率

Android Top300、iOS Top100

新东方云教室1.21.0-android：

新东方云教室1.21.0-ios：

2. 网络兼容

3G、4G、5G、WIFI、5G-WIFI

3. 新旧版本兼容

4. SDK间兼容

第三方SDK调用：声网、乐播、相芯、听云

新东方自研RTC-SDK

1. 云教室与第三方SDK和自研SDK之间的兼容

2. 第三方SDK之间的兼容

声网和相芯之间、声网和听云之间
新东方自研RTC-SDK与声网、乐播、相芯、听云的兼容

总结

专项测试使QA拓宽了测试思路、发现了更多的问题、保障了云教室的功能稳定。

App Store当前评分：4.6，教育榜排名305名，客户端功能基本稳定，反馈多为好评。

继续滑动看下一个