How Salesforce Delivers Reliable, Low-Latency AI Inference

How Salesforce Delivers Reliable, Low-Latency AI Inference

摘要

Salesforce工程师Nilesh团队通过多层缓存设计破解AI元数据服务瓶颈：在AI网关部署L1本地缓存实现亚毫秒级响应，新增L2缓存使数据库故障时仍维持65%服务可用性。方案将元数据获取延迟从400ms降至1ms内，端到端请求延迟降低27%，并通过动态TTL机制平衡数据实时性与容灾能力，让Agentforce等AI服务在2B场景实现稳定高效的推理流程。