淘宝开放平台架构设计与实践

1. 淘宝开放平台架构设计与实践岑文初（放翁）日期：2009-08-20 部门：技术研发部-平台架构 1

2. 目录 •TOP背景介绍 •TOP整体架构介绍 •TOP架构设计实例分享 •TOP商业驱动模式介绍 2

3. TOP背景介绍 3

4. TOP背景介绍独立网店工具海新业态社区电子商务开发者开发者 … 开发者开发者开发者 Taobao Open Platform 对外，开发者是TOP合作方，共同服务大淘宝的终端客户对内，TOP与各个业务线合作，一起协同开放 4

5. TOP整体架构介绍大淘宝 Taobao.com 购物搜索入口业务资讯导购淘宝集市淘宝商城其他业务工具搜索独立网店社区电子商务 App 提供： Open.taobao.com 第三方工具新业务及其他 App Store Taobao Open Platform = TOP TOP Open API TBML (数据标签语言) 开放式插件平台接入标准 TOP ID 合作集团子公司业务合作 5

6. TOP架构设计实例分享 •服务访问控制策略 App • Level & Status • Frequency, Order User • Token(request , session, session with fix time) • Frequency API • Four Level(None, APP, User, Optional User) • REST & RPC（Operation Control） 6

7. TOP架构设计实例分享 • 服务访问控制策略 TOP IM Server APP

8. TOP架构设计实例分享 •服务处理机制 •大数据交互服务 TOP APP TOP Service Provider APP 业务数据交换通道 Service Provider 8

9. TOP架构设计实例分享 • 异步交互服务 & 通知服务 • 保持会话，支持异步响应。（短信服务） • 异步延时服务。（大数据量信息返回） • 订阅关系维护，支持通知服务。（系统间数据同步）

10. TOP架构设计实例分享 •API的监控三级监控 • 异步数据库分表记录 • 每日任务导出，分布式计算框架中计算分析 • 监控访问趋势增长，服务性能瓶颈二级监控 • 请求埋点数据收集 • 本地日志增量传输或异步数据批量传递 • 监控平均响应时间，峰值请求次数等一级监控 • 缓存计数 • 阀值设置，多手段告警 • 监控访问频率及服务响应时间 10

11. TOP架构设计实例分享 •TOPID（开放用户） •服务串联外部网店集团淘宝 •服务请求流程化外部网站 •令牌互通 •身份认证，用户授权 •信用体系建立新业态 11

12. TOP架构设计实例分享 • TBML – 产生原因 • • • • • 数据隐私性开发便利性业务升级透明化监控全局化开发标准化 – 作用 • 数据操作可控，保护终端用户隐私（结合cookie和标签，控制ISV业务数据操作尺度，提高数据安全性） • 提供标准业务流程标签，简化开发者对于业务流程理解过程。 • 标签化接口方式，完成数据获取和页面渲染，后台业务升级对ISV透明化。 • 标签获取客户端信息，将监控扩展到整个业务请求过程。 • 制定行业化标签库，形成统一开发标准

13. TOP架构设计实例分享 •服务分流与隔离 •原因：服务简单负载均衡造成服务互相影响。（根本原因是服务的质量直接影响TOP处理能力和资源分配） •处理模式进化：二级域名软负载软负载&虚拟服务组 13

14. TOP架构设计实例分享 •服务分流与隔离二级域名软负载 • 隔离效果明显 • 配制僵化 • 性能基本无损失 • 隔离效果明显 • 配制可手动运行期扩展 • 性能有损失 • 隔离效果一般 • 可推送配制，动态调整集群组软负载&服务 • 性能损失小虚拟组 14

15. TOP架构设计实例分享

16. TOP架构设计实例分享 •支持集群可动态扩展的缓存客户端 •缓存在TOP中作用 a. 业务数据缓存，加速业务处理速度（上下文缓存） b. 计数器+黑名单，安全控制策略实现 c. 细粒度计数器，支持监控 d. 用户授权，异步请求会话存储 •存在问题 a. 数据固化（用户授权数据） b. 集群支持，可动态扩展和变更配置 c. 性能消耗（网络交互） 16

17. TOP架构设计实例分享 • 换个角度看问题： Memcached cache Config Server Cluster Support Client 支持集群的分布式缓存

18. TOP架构设计实例分享

19. TOP架构设计实例分享 • • • • • 集群数据固化问题 – Other Server support Protocol（memcached db） – Customize Adapter 集群节点负载均衡 – 节点内与节点间负载均衡（权重，Hash算法）集群节点数据同步 – Key node & Lazy Task Queue – Failure node recover Data (standby or active mode) 集群节点动态扩容 – Config pull or push form Config Server – Cluster data move(主动 or 被动) 性能消耗 – Local Cache + Remote Cache.(Local data clean policy) – Protocol extend support compression or incremental modify

20. TOP商业驱动模式介绍 End User 插件分成 AppStore订购开发者按业务分类淘宝插件店铺插件免费TOP外部插件淘宝SNS插件插件分成社区插件动态广告外部SNS插件收费应用客户端淘宝客API 流量收费盈利模式自用型应用独立WEB应用流量收费 TOP 新平台应用独立网店社区站点导购网站流量收费淘宝客API 商家入驻盈利模式

21.