端智能与MNN初探：⾯向未来的移动开发

1. 端智能与MNN初探：⾯面向未来的移动开发讲师：舒会（花名-⽞玄裳） MNN项⽬目核⼼心负责⼈人之⼀一阿⾥里里巴巴淘系技术⾼高级技术专家

2. About Me • Amazon • Google: • ✦ Federated Learning ✦ ML Kit founding member 2019. 9. Alibaba: MNN

3. Agenda • 1. 端智能介绍：趋势、特点、挑战 • 2. 端智能在⼿手机淘宝的应⽤用 • 3. MNN介绍

4. WHY？ • 隐私性：先看⼀一则新闻

5. WHY？ • 数字对⽐比。 • 2019: The world’s fastest super computer the “Summit” [1]: 143.5 PFLOPS. • 2018: Kirin 970 NPU 1.92 TFLOPS [2] * 17 million P20 [3] = 32640 PFLOPS = 227x “Summit”. [1] https://en.wikipedia.org/wiki/Supercomputer [2] https://hexus.net/tech/news/cpu/109757-huawei-kirin-970-soc-dedicated-neural-processing-unit/ [3] https://www.huaweicentral.com/huawei-sold-over-17-million-units-of-p20-series-and-7-5-million-units-of-mate-20-series-in-2018/

6. 端侧推理理挑战 & 优势 • 挑战：速度，引擎⼤大⼩小，模型⼤大⼩小，内存 • 优势：隐私，速度，省云端资源

7. 端智能 • 趋势1：端上推理理的重要性⾼高于训练，但是训练在补⻬齐 (TFLite, Pytorch, Mindspore) • 趋势2：后摩尔时代，XPU 百花⻬齐放 • 趋势3：NLP逐步⾛走向成熟 • 趋势4：⼿手机端到AIOT端

8. 趋势1：端上推理理+训练推理理的⽐比重将上升端上训练

9. 趋势2：后摩尔时代，XPU 百花⻬齐放 One thing that’s been shown to be pretty effective is specialization of chips to do certain kinds of computation that you want to do that are not completely general purpose, like a general-purpose CPU –Jeﬀ Dean, interview with VentureBeat 2019/12/13

10. 趋势2：后摩尔时代，XPU 百花⻬齐放 CPU 算⼒力力发展放缓，进⼊入后摩尔时代 ML模型对算⼒力力的要求指数增⻓长

11. 趋势2：后摩尔时代，XPU 百花⻬齐放

12. 趋势3：NLP逐步成熟

13. 趋势3：NLP逐步成熟 • BERT (2018), ALBERT (2019) RACE Leaderboard (阅读理理解) SQuAD Leaderboard (阅读理理解)

14. 趋势4：⼿手机端 —> IOT 端⼿手机出货量量预测智能⾳音箱出货量量

15. 端智能在⼿手机淘宝的应⽤用 • 改变原有的流程 • 全新的交互⽅方式

16. 改变原有的流程 • 个性化：千⼈人千模。根据⽤用户个⼈人数据，personalize global model. • 时效性+省服务端算⼒力力：e.g. 端上重排。 • 隐私性：Federated Learning。探索性。端上重排

17. 全新的交互体验美妆：⼝口红 (⼩小程序) 染发拍⽴立淘扫Logo (NPU)

18. ⼩小结：端智能在⼿手机上应⽤用 • ⾮非端不不可 • 可离线 • 隐私 • 实时性 • 省云资源

19. MNN介绍⼩小福利利环节！！！！ https://github.com/alibaba/MNN • 核⼼心价值 • 主要模块 • 使⽤用流程

20. MNN核⼼心价值算⼦子碎⽚片化模型框架碎⽚片化模型信息 Scheme A 推理理引擎 MNN Scheme B 搜索 Scheme C Fastest … 设备信息设备 Best Scheme 硬件、OS碎⽚片化资源受限

21. MNN核⼼心价值 • 性能：Arm CPU上MNN的单线程推理理性能⼤大约是TFlite的2~4倍；4线程推理理性能⼤大约是TFLite的10~20倍[1] • ⼤大⼩小: MNN的静态库⼤大⼩小约为TFlite的66.7%。[2] • 异构设备⽀支持（NPU，GPU，Armv8.2, etc.） • 通⽤用性：12⽉月补充了了约200个OP [1] 2019年年9⽉月数据, Mate 20/Mi6, MobileNet-v1/SqueezeNet-v1.1/ResNet-18 [2] MNN + OpenCL backend: 1.2M + 334K; TFLite + NNApi backend: 2.3M

22. MNN 主要模块 • 模型转换 • 模型压缩（量量化） • 推理理引擎 (Next time)

23. 模型转换MNNConvert Caﬀe前端 TF前端 ONNX前端优化器器图优化算⼦子融合算⼦子替换布局调整 FlatBuﬀer Writer MNN Model Quantize Quantized MNN Model

24. 模型量量化⼯工具 PreTrained Models MNN 量量化⼯工具包 MNN Model ⽆无训练量量化 ADMM KL散度带训练量量化（WIP）校准训练集 Quantized MNN Model MNN 推理理引擎

25. MNN使⽤用流程 - Live Coding Session • Rough steps (when everything “just works”): • 1. Compile MNNConvert + MNN lib. • 2. tools/script/get_model.sh (download and convert) • 3. (Optional) Model quantization tool [w/o training.] • 4. In the demo app, load MNN model and create an interpreter + session.

26. MNN未来展望 • 易易⽤用性：开箱即⽤用的⼯工具箱MNN Kit；预编译包 • 端上训练⽀支持：带训练的量量化；迁移学习；从0开始训练 • ⼯工作台 • MNN + NPU • MNN ⼩小程序

27. 总结回顾 • 整体端智能的趋势、挑战、特点 • ⼿手机淘宝中端智能的应⽤用玩法 • MNN介绍

28. 后续直播内容 • MNN 推理理引擎详解 • MNN Kit • MNN ⼀一站式⼯工作台

29. Q & A

30. https://github.com/alibaba/MNN MNN团队招聘。扫⼀一扫。投简历「淘系技术」微信公众号 MNN 开源讨论钉钉⼆二群