大数据时代证券核心交易系统架构演化

如果无法正常显示，请先停止浏览器的去广告插件。

2. 大数据时代证券核心交易系统架构演化上交所技术公司刘凯

3. 目录 • 从马背到互联网：证券交易系统历史 • 上交所交易系统演进 • 证券交易系统架构的挑战 • 证券核心交易架构演化

4. 从马背到互联网：证券交易系统历史 • 证券交易所的诞生 • 问题 • 远洋贸易获利颇丰但是风险重重 • 如何分担风险共享利润？ • 首个交易所的诞生 • 1613年, 阿姆斯特丹证券交易所 • 第一只证券东印度公司证券

5. 从马背到互联网：证券交易系统历史交易与清算订单与行情市场信息人工时代纸张自行车信鸽/马队电子与机械时代纸张机械风动管电报/电话计算机与网络计算机 X.25网络电话互联网时代计算机 Internet/广域网 Internet/广域网

6. 从马背到互联网：证券交易系统历史 • Stage1：分散式的区域交易所 • 通信不便，美国高峰期有数百家交易所运转 • Stage2：国家性的交易所 • 部分合并，部分退出，形成每个国家几家主要交易所 • Stage3：电子交易所的竞争 • 信息时代带来的是交易所门槛的降低，依托信息技术的电子化交易所能够向传统巨无霸挑战 • 另类交易系统，场外电子市场ECN，电子化交易所 • Stage4：交易所之间的全球化竞争与合作 • 合并，互联

7. 上交所交易系统演进 • 1990年11月26日成立，同年12月19日正式营业

8. 上交所交易系统演进第三代：分布式集群系统（2009.11-至今）第二代：商用小型机系统（1992.12-2009.11）第三代交易系统2009年11月23日上线，使用多主机并行撮合，最高支持10万笔每秒，全天容量2.4亿笔订单。第一代：局域网系统（1990.12-1992.12）建立在集群系统上，通过分层部署在关键应用、主机以及网络三个方面皆有冗余，满足容灾和可扩展需求，在发生灾备切换时可保证订单数据“零丢失”。第二代交易系统建立在商用小型机系统上，通过双向卫星和光缆建成覆盖全国的通讯网络，支撑了“从上海到全国，从场内到场外，从营业部到集中交易”的交易方式变革。 1990年11月26日成立，同年12月19日正式营业，是第一个直接采用计算机撮合系统进行交易的新兴交易所。 • 基于Novell服务器的局域网络 • 每秒处理3笔业务，月处理成交2万笔 • 市场的委托、行情、成交回报等环节仍需要手工完成 Novell主机更换为基于惠普小型机UNIX操作系统每秒200笔，日处理能力200万笔 1993年，采用单向卫星广播行情，双向卫星接收报单 1997年和1999年进行了两次设备和应用的重大升级，系统处理能力提高到每秒2万笔，日处理能力800万笔 • 后随着不断的扩容和改造，性能和容量不断被刷新 • • • •

9. 证券交易系统架构的挑战

10. 证券交易系统架构的挑战高吞吐 § § 集中处理整个上海证券市场的证券交易交易机会稍纵即逝，需要争抢 § § 一笔订单理论上可触发众多交易数据传输和处理的集中突发是常态 § 未来需要支持30-50万笔每秒处理 § 挑战串行交易/并行交易？ § § 主机内并行/分布式并行？并行交易时的同步一致性保证分布式事务实时灾备切换…

11. 证券交易系统架构的挑战低时延 § § § 实时处理性能对证券业务至关重要 § 可预期性需求 § § 价格发现能力市场状态的及时同步目前普遍为单笔订单毫秒级延时未来需要做到微秒级处理挑战 § § 物理门槛：摩尔定律的失效强校验机制 § § 100%安全性：备份的代价处理的有序性和公平性

12. 证券交易系统架构的挑战高可用 § § 是业务连续性保障，证券市场的关键单个部件的可用性和整体可用性均需保持高水平 § 两地三中心的布局要求挑战 § 所有代码都有Bug?! § § 所有环节不许有单点隐患灾备实时切换数据0丢失 § 关于安全与效率的平衡

13. 证券交易系统架构的挑战灵活性挑战 § § 业务支持的灵活性升级部署的灵活性 § 业务模型的分析 § § 操控的灵活性应急处理的灵活性 § § 底层架构的支持数据结构的完善 § § 扩展的灵活性全球化交易的灵活性 § 软件架构的可操作性

14. 大数据时代的特征

15. 证券核心交易架构演化-分布式架构 • 单体架构 • 分布式层级架构-可扩展 • 微服务 -可编排复用

16. 证券核心交易架构演化-分布式架构 • 选择 • 基于服务的架构 Vs 事件驱动的架构 • 事件驱动为主，兼顾基于服务 • 关键点 • Event Sourcing • CQRS 16

17. 证券核心交易架构演化-Event Sourcing&CQRS • Martin Fowler • 整个系统以事件为驱动，所有业务都由事件驱动来完成。 • 系统的数据以事件为基础，事件要保存在某种存储上。 • 业务数据只是一些由事件产生的视图，是可重演的。

18. 证券核心交易架构演化-Event Sourcing&CQRS • 使用Event Sourcing进行节点灾备与恢复 • 依靠CQRS增加交易的性能 Order State Machine Master State Machine Slave State Machine Query Slave State Machine Slave

19. 证券核心交易架构演化-Exactly Once • 证券处理的特点 • 必须保证故障时数据处理 “Exactly Once” • 保证单节点处理的幂等性 • 分布式架构的整体故障恢复 • 可以考虑类似分布式快照机制 • 或者考虑逻辑时钟的应用

20. 证券核心交易架构演化-分布式事务 • 证券交易中的事务 • 本地事务 • 分布式事务 • 分布式事务的选择 • SAGA • TCC • 交易系统中的实现 • 每一阶段事务均为一个正常处理事件 • 事务编号在事件处理节点中传递 • 事务管理器

21. 证券核心交易架构演化-高可用设计 • 状态复制结果复制，状态同步共享磁盘复制输入复制，执行重演 TCP复制组播复制 • 灾备切换（共识的建立）手工切换 CoroSync+DL M Paxos & Raft Zookeeper/etcd

22. 证券核心交易架构演化-传输模型变化基于路由的架构基于总线的架构节点1 路由管理节点1 路由表节点2 路由表节点3 Send to --------> Receive from 路由表节点2 Publish --------> Subscrib 节点3

23. 证券核心交易架构演化-传输模型变化基于点对点传输的结构基于组播的结构节点1 节点1 交换机节点2 交换机节点2 节点3 性能和公平性节点3

24. 证券核心交易架构演化-低延时加速和并行 • 全内存实时数据处理 • NUMA节点优化 • CPU核心分配 • 缓存命中率 • 网络加速与Kernel bypass • 低延时网卡 • 低延时交换机 • 软件硬件化 • FPGA • 微观进程内的并行处理 • 多线程并行 • Barrier • 顺序merge • 分布式并行处理 • 多种模式-负载均衡

25. 证券核心交易架构演化-资源可调度 • 数据与计算资源相分离 • 计算资源可调度 • 内部状态可输出 • 应急场景可操作 • 进程内的资源管理器 • 计算资源：线程 • 内部状态：堆内存和共享内存 • 提供状态查询，应急修改等功能

26. 证券核心交易架构演化-分布式节点管理 • 一个分布式节点管理 • • • • • 参考数据上场配置数据加载日志和状态数据的监控操作控制升级部署 • Service Mesh与Sidecar的 • 节点业务的支持 • 支持类节点的互联 • 交易分布式节点的Sidecar 以系统为单位的管理以节点为单位的管理

27. 证券核心交易架构演化-国产化的支持调优最佳实践系统性能优化工具 NUMA绑核+CPU预取，队列操作时延显著下降版本升级、锁优化、内存优化等手段调优，多并发场景整体性能提升较大多并发场景下整体性能版本升级： NUMA绑核 C/C++性能分析 + CPU预取配置资源调度分析 • 打开CPU预取 • 修改内核代码 • 升级编译器，引入两个编译选项（流水线&目标平台指令集） • 升级Glibc至2.3.1版本 8 7 6 锁优化： 5 • 修改业务逻辑，优化锁的顺序，提升锁的执行效率。 4 3 内存屏障优化： • 修改C++ atomic原子类型指定的内存模型，提升内存池性能 7.1 nr_alloc_success_++; nr_alloc_success_.fetch_add(1, std::memory_order_relaxed); 2 1 0 5.4

28.