端计算Walle：2235亿次运算，为了无法计算的端智能价值

本文知识点提炼：

1、端计算在移动设备上的应用探索 

2、技术方案与核心模块设计

3、总结与展望

背景

面临的挑战

▐  研发效率

• 由于端侧集成的为精简版 TF Mobile ，算法同学编写的TF代码在端侧可能存在缺少算子而跑失败的情况。

• 新增或修改 Op 需要 Native 发版实现，周期长。

• if、for 等流程控制在TF中难以处理。

• TF 的端侧推理耗时较长，业务决策响应不及时。

▐  稳定性

▐  任务治理

▐  场景覆盖

端计算2.0 Walle

▐  架构设计

▐  解决思路

更高效易用的计算容器

更夯实的稳定性保障措施

• 开发测试阶段

• 代码覆盖率。在SDK中内置了代码覆盖率与性能热点的采集与上报功能。配合Jarvis平台的真机验证系统，可以在发布阶段更全面地度量真机验证的效果，将风险暴露在上线前。

• Mock系统。为了实现自动化测试能力，我们开发了Mock系统。支持基于基线数据，对端计算任务的入参、出参、异常逻辑进行Mock验证。

• 运行时

• 单机熔断。由于算法模型的迭代频率较高，为了避免在日常的迭代过程中引入新问题，我们在端侧引入了单机熔断的机制。既某个模型任务的执行耗时超过阈值或者执行线程卡死时，我们会重启执行线程，并对当前的模型任务进行一定时间段的熔断处理，以免影响其他模型任务的正常执行。

• 高危模块移除。移除了So动态加载、JS等存在潜在风险的模块，使用更优雅的方案替代。

• 疑难问题解决。端计算演进期间，我们攻克了诸多内存 Abort 、 Crash 、 多线程锁等疑难问题，整体Crash率有大幅降低。

• 监控

• 调试工具。支持验证版本的生效配置，扫码拉取端侧日志，对任务异常进行实时调试排查。

• 监控大盘。面向App运维同学，可全局地观察整个端计算整体关键指标，以及每个任务的资源消耗排名，异常情况排名等。

• 任务报表。面向算法同学，包含全链路多维度监控，长尾报表等，可直观地实时反馈任务上线后的运行情况。

• Crash定向监控。为了更准确实时地定位线上Crash问题，我们与Emas团队合作开发了模型Crash定向监控能力。在Emas平台上，现在可以直观地看到所有模型任务的Crash分布情况，以及Crash调用栈明细。

更丰富的场景覆盖能力

• 在端侧实现了一套简化的CEP（复杂事件处理）引擎，支持根据预置的规则序列，使用滑动窗口的模式匹配用户的操作行为，进行实时的用户干预。对于一些轻量化场景，可以直接使用CEP来定义行为，而无需引入机器学习模型。

• 同时在触达层面，对接了奥格的人群系统，支持针对特定人群进行CEP规则或者模型任务的投放。在行为命中后的业务响应环节，我们统一扩展了Push、Poplayer、Broadcast、WalleTask、UT、NativeCallback等多种途径触达用户。

总结

今年双十一期间，端计算首次在手淘大规模落地，覆盖主搜、信息流推荐、云主题、会场、智能Push、红包雨、促升、直播等场景。双十一当日共执行了2235亿次运算，在大幅提升GMV的同时，也为用户带来了更好的交互体验。同时除了手淘外，目前端计算也已在猫客、闲鱼、AE、CBU、零售通、优酷等App有成熟方案落地。

端计算的出现，填补了云计算在网络延时、数据丰富、隐私安全、算力成本方面的不足。而端计算与云计算也会以共存与互补的姿态，拥抱智能化浪潮。随着端计算体系的成熟以及基础设施的完善，相信未来算法同学们会有越来越多的创新项目孵化与应用，我们共同期待。