Pacer: Pinterest’s New Generation of Asynchronous Computing Platform

摘要

Pinterest的异步作业执行平台Pinlater存在可扩展性瓶颈、硬件效率低、缺乏隔离性和可用性等问题，Pacer重新设计了架构并引入了新的组件和机制。Pacer通过将任务队列划分为分区，并通过Helix和Zookeeper进行管理，解决了Pinlater存在的问题，提高了作业执行的独立性和性能，减少了锁竞争，提高了硬件利用率。Pacer的dequeue broker服务解决了锁竞争问题，并使用缓冲区提高了作业获取的效率。同时，Pacer使用了Helix管理大量的分区，并将它们分配给适当的dequeue broker，以优化资源管理。此次改进是多个团队协作的结果，包括来自Core Services、Data Org、Storage and Caching、Cloud Runtime和Notifications的贡献。