VSRC城市技术分享沙龙-爱奇艺-张凯

1. VSRC2017 城市沙龙爱奇艺 IP 信誉分的诞生和研发过程 VSRC 2017-07-07

2. 目录 CONTENTS 01 我们为何选择自研 IP 威胁情报库 02 IP 信誉分的介绍 03 研发过程 04 最新研发进展

3. 01 爱奇艺为何选择自研 IP 威胁情报库

4. 请根据情报评估三个 IP 的威胁程度 221.195.112.61 A 公司情报：爬虫，分数 50 分 B 公司情报：垃圾邮件、僵尸网络 183.237.185.205 A 公司情报：服务器、 VPN 服务器，分数 81.2 分 B 公司情报： CC 攻击、垃圾邮件、僵尸网络 117.184.140.236 B 公司情报：垃圾邮件、僵尸网络

5. 爱奇艺 IP 信誉分 221.195.112.61 疑似 Web 服务器、视频播放曲线正常、真人可触达 IP 183.237.185.205 疑似代理服务器、疑似 Web 服务器、越狱 iOS 设备较多、机场网络出口、视频播放曲线正常、各业务访问比例正常 117.184.140.236 视频播放曲线正常、地铁 WiFi 网络出口、真人可触达 IP 、各业务访问比例正常

6. 最重要的原因：避免偏见第三方威胁情报缺少足够的正常行为的标签，更容易使我们的安全专家得出偏向恶意的结论，导致误杀爱奇艺的 IP 信誉分，无论在算法中，还是在后台的查询结果中，加入了更多正常行为的标签，避免偏见

7. 第三方匹配率有限使用爱奇艺置信 IP 黑名单匹配第三方数据

8. 02 爱奇艺 IP 信誉分

9. 特点一：分数制使用 -100 到 +100 的分数，表示一个访问爱奇艺的 IP 的威胁程度， 0 代表中性；正分表示有威胁，分数越高越有威胁；负分表示无威胁，分数越低越无威胁 1. 直观 2. 业务方可以结合自己的业务，决定规则的松紧程度

10. 特点二：引入负分第三方情报服务，正常 IP 和无威胁情报的 IP 都是 0 分，无法区分我们引入负分表示一个 IP 偏向正常 1. 不仅无恶意行为，而且有正常行为 2. 有恶意行为，但是有更多或者更置信的正常行为，总体偏向无恶意主要应用在公共出口防误杀

11. 特点三：只关注于访问爱奇艺的 IP 不访问爱奇艺的 IP 对爱奇艺的威胁是 0 对爱奇艺有威胁的 IP 都访问过爱奇艺威胁越大的 IP 往往请求越多，产生的痕迹就越多，我们就可以做的越准确

12. 特点四：更适合爱奇艺绝大部分数据均来自爱奇艺的各个业务，分析指标结合了各个业务的特点，识别更精确例如 194.44.172.210 这个 IP A 公司告知这是一个代理，并且给了 50 分 B 公司只告知这是一个 HTTP 代理 IP 信誉分结合爱奇艺 Passport 业务，判断这个 IP 业务行为严重异常，给出了 100 分的满分，识别准确无误

13. 特点五：公共出口识别更准确依托整套体系 ( 后面会讲 ) ，我们不仅可以识别出公共出口，而且识别出了这个公共出口是什么，包括： 1. 企业 2. 商场 3. 酒店 4. 机场、地铁、公交车等公共设施出口 IP 这些数据很重要，第三方威胁情报服务也许也能做到这一点，但是并没有开放出来

14. 03 研发过程

15. 研发流程采集数据结合业务分析数据特征采用多个权重方案，选取其中一个产出黑白标签观察每日分数变化和历史标签交叉分析

16. 分析特征 & 产出标签（例一）业务请求的时间序列检测，根据一个 IP 的波动和标准波动的差距，产出正常和异常两个标签依据差距大小，标签自身也会有分数

17. 分析特征 & 产出标签（例二）设备型号比例分析，发现有群控嫌疑的 IP （群控手机使用型群控手机使用型号偏向老款和价格便宜的手机）

18. 和历史标签交叉分析威胁标签之间应有一定重合，正常标签亦然。威胁标签和正常标签应没有太多重合。对重合率异常的部分加以分析，可以发现很多设计的缺陷

19. 采用多个权重方案，选取其中一个

20. 观察每日分数变化

21. 关键技术和原则 OLAP(Impala) + 数据可视化快速的让分析师理解数据、发现问题尽量自动化所有分析和产出流程降低时间成本，鼓励分析师多实验，用数据说话限制使用人工标注黑 / 白名单逼迫分析师通过优化算法来解决问题，而不是简单通过黑 / 白名单简单的把问题掩盖人对数据的理解，比计算机对数据的理解，更重要

22. 04 最新研发进展

23. 图分析通过用户数据，可以得出两个 IP 是否真人互通。例如：你白天在公司晚上在家，你将两个 IP 连接在了一起，那么两个 IP 真人互通前文提到的机场 IP 所属网络

24. 图分析中可视化很重要图分析中，人很难在大脑中构建出来一张图，并发现节点之间的关系。所以数据可视化很重要，快速、方便的工具帮助分析师理解图并发现问题。根据标签高亮筛选

25. 图分析应用和置信白 IP 网络或者黑 IP 网络关联的 IP ，信誉分会受到影响辅助识别请求较少的 IP 通过发现“不合群”的 IP ，发现信誉分算法中的设计缺陷关联其它维度，提供更多分析结果，例如账号分享、设备指纹碰撞等

26. 爱奇艺招聘经验丰富的 Java 、算法、机器学习工程师 zhangkai@qiyi.com

27. 感谢聆听 THANKS!