淘系专家带你初探端智能与MNN（下篇）

出品|阿里巴巴新零售淘系技术部

• 关注「淘系技术」微信公众号，回复“MNN”即可获取两次直播完整版 PPT 及视频回放链接；

• 点击下方「阅读原文」获取 MNN 开源地址，欢迎大家 star 我们哦~

舒会（玄裳）

引言

在淘系专家带你初探端智能与MNN（上篇）里，我们探讨了端智能的特性，挑战以及趋势。端智能是Mobile First和AI First两条道路的交叉点，也是许多移动开发者跨界发展的出路。

在这篇文章里，我们会介绍一下手机淘宝中端智能的应用。然后会介绍一下手机淘宝端智能中提供核心基础设施的推理引擎MNN。顺带说一句，MNN团队中许多成员之前是做移动开发的。移动开发者向AI开发跨界，可以参考一下哦。

• 个性化：千人千模。全局模型可以被用户的个人使用数据个性化定制。目前手淘首页的“猜你喜欢”页面的推荐内容，就是使用了用户的个人数据对全局推荐模型进行了定制，取得CTR的提升 （目前此功能在灰度实验中）。

• 时效性+省服务端的算力：以手机淘宝首页的信息流为例，手机端会向服务端请求展示的商品，服务端为回复一定数量的商品以及相应的排序，但是这个排序是可以被app内的用户行为实时改变的。这个所谓的“端上重排”就是手机端利用本地的信息，运行一个ML模型，快速做出决定，不用与服务端通信。端上重排根据用户的浏览信息重排商品，可以提高转化率。

• 隐私性：这方面比较火的是前几年由Google推出的Federated Learning。它可以在每个用户数据不离开手机的情况下，训练出一个描述所有用户的模型，同时有安全算法保证最终的全局模型无法逆向出原始的训练数据。Federated Learning还存在一些基本的研究挑战没有解决[1]，所以手机淘宝还停留在尝试Federated Learning，并没有完全工业落地。

MNN (Mobile Neural Network) 是阿里巴巴内部自己研发的推理引擎。在它研发之初，TFLite刚刚发布，而且由于TFLite最初版有诸多问题，为了快速响应业务的变化，阿里巴巴决定内部自研推理引擎MNN。MNN在2019年5月初在Github开源。开源至今，受益于阿里巴巴内部的用户和开源社区用户的反馈，MNN逐渐成长为一个优秀的、成熟稳定的推理引擎。目前，在阿里巴巴内部，MNN是端上推理引擎的事实标准。

MNN主要解决的是现在端智能的两大痛点：1. 底层的硬件、操作系统碎片化 （CPU、GPU、NPU, Android/iOS, Mobile/IOT） 2. 机器学习的框架复杂（TFLite，PyTorch, ONNX, etc.）。为了能够在不同的硬件、操作系统里发挥最好的功能，MNN会在运行时根据运行环境寻找出最快的算子实现算法（我们称这个过程为“半自动搜索”）。关于半自动搜索的技术细节，我们在第二次直播中有深度解答：http://mudu.tv/watch/4397479。

▐  MNN 的主要模块

目前，MNN还没有支持从头开始训练一个模型的能力。也就是说，用户必须事先用其他的训练框架比如Tensorflow, PyTorch把模型训练好，然后再转换为MNN的模型格式，最终部署到端上。

它主要的工作流程是，先解析“源头”格式的模型（Caffe、TF、ONNX），进行一些与硬件无关的优化，例如图优化、算子融合、算子替换、布局调整等。得到初步优化的图之后，转换为MNN自己的格式。MNN的模型格式是一个自定义Schema的flatbuffer格式 [2]。

MNN的量化方案是自己实现的，它目前有ADMM和KL散度两种方案。也就是说，“源头”的预训练好的模型需要是浮点的。ADMM量化方案，是MNN根据达摩院的Paper “Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM” [3] 实现的。它与KL散度的区别在于：ADMM是基于数学优化的方法，只需要几十个数据点即可，但是计算较慢。而KL散度是基于概率统计的方法，需要较多的数据（500到1000个数据点），计算较快。实际操作上来说，对特征的量化，ADMM和KL散度没有巨大的差距；对权重的量化，推荐使用ADMM。

▐  MNN 未来展望

1. MNN 的易用性还不够。这方面，我们会有一整套的易用性提升：开箱即用的工具箱；文档补齐；Demo 示例；预编译包等… 这些易用性提升的改变，我们预计在今年春节之前发布。

2. 训练：很多时候，要获得一个用于某个应用场景的模型其实很简单：拿 MobileNet 做一下迁移学习，就可以达到很好的效果。MNN 未来会加入训练模型的能力，让这种迁移学习的场景可以直接通过 MNN 的 API 或者工具达成。

1. MNN + NPU：NPU的运行速度快了 CPU 好几倍，而且能耗有优势。是未来的主流。而且在可预见的未来，NPU的碎片化比较严重。MNN目前支持了华为的海思NPU，以后会支持更多的 NPU ，并且会提供一个统一的 API ，降低碎片化。

2. MNN 小程序：小程序平台降低了外部客户把他们的软件写入手淘的门槛。以后，手淘里面的端智能能力，可以通过小程序透出给外部开发者，使用简单，功能强大。今年的双11，modiface 与我们合作，通过小程序使用 MNN ，巨大提升了运行速度（相比于 TFJS ），降低了内存使用。未来，更多的外部客户可以在他们的小程序里调用 MNN ，简单、高效地将机器学习带到小程序里。

3. 模型压缩：前文也提到了 NLP 应用是未来的一大趋势。而 NLP 的模型普遍大于 CV 模型。在这个时候，大幅度地压缩模型，能够让之前只能在服务器运行的模型放到端上运行。所以未来的 MNN ，会提供更好的模型压缩。

[1] https://en.wikipedia.org/wiki/Federated_learning#Technical_limitations

[2] https://github.com/alibaba/MNN/blob/master/schema/default/MNN.fbs

[3] https://arxiv.org/abs/1707.0987