公司:pinterest
Pinterest(中文译名:缤趣),是一个网络与手机的应用程序,可以让用户利用其平台作为个人创意及项目工作所需的视觉探索工具,同时也有人把它视为一个图片分享类的社交网站,用户可以按主题分类添加和管理自己的图片收藏,并与好友分享。其使用的网站布局为瀑布流(Pinterest-style layout)。
Pinterest由美国加州帕罗奥图的一个名为Cold Brew Labs的团队营运,创办人为Ben Silbermann、 Paul Sciarra 及 Evan Sharp。2010年正式上线。“Pinterest”是由“Pin”及“interest”两个字组成,在社交网站中的访问量仅次于Facebook、Youtube、VKontakte以及Twitter。
How Pinterest Improved Analytics Agent Compliance with Loop Engineering
合规要求代理按需执行正确步骤,但手动修订指令难以预测效果。为此构建了配对测试套件与回归测试,并设计调优循环:每次迭代以全新上下文读取结构化交接信息,提出候选修改,经安全门禁筛选,仅接受修复问题且不引入回归的改动。最终,小改动带来强证据支持的合规提升,将一次性提示工程转变为可重复的循环工程。
Scaling Model Evaluation at Pinterest with Ray (Part 4)
模型评估平台融合Ray与Spark,按可分解性将指标分为三类,定义统一接口。通过分桶保留分组语义,用混淆矩阵近似AUC等技巧实现批内计算,并将指标计算与推理重叠,消除序列化和集群启动开销,端到端耗时降低25-32%,且随实验数线性扩展。
Safe and Efficient Multi-Epoch Embedding Training
多轮训练中,冻结嵌入表早期、后期再解冻,可避免过拟合并提升效果。通过半同步流水线、融合查找等优化,减少通信开销,最终实现生产环境多轮训练,在线保存指标提升1.09%。
Becoming an AI Team
AI团队不仅是引入工具,更是思维与运作模式的根本转变。团队从执行者升级为战略家,管理者从流程监管变为愿景引领。能力边界扩展,但战略优先级更关键。未来团队必须拥抱人机协作,否则将被超越。
Achieving Near-Linear Training Scalability for Pinterest’s Foundation Models
Pinterest工程团队通过量化通信、均衡分片、带宽感知优化和2D并行拓扑重构,将多节点训练扩展效率从0.2倍提升至8节点7.5倍(理想值的93.75%)。核心经验:通信瓶颈必须通过减少传输字节、重塑负载和本地化昂贵操作直接解决。
Automated Schema Evolution in Pinterest’s Next-Generation DB Ingestion Framework
Pinterest 的 CDC 管道通过分阶段收敛模型安全处理模式演变,支持添加列等兼容变更。系统自动检测源模式变化,更新 Iceberg、Flink 和 Spark 代码,并通过 PR 工作流部署,确保数据在 SLA 内逐步一致。
Making User-Sequence Data More Cost-Efficient, Faster, and Easier to Use
用户序列数据处理变得成本更低、速度更快、使用更简便。通过优化数据存储和查询方式,显著降低了成本,同时提升了处理效率和易用性,让团队能更高效地分析用户行为模式。
An Engineer’s Guide to Better AI Skills: Implementing a Testing Process to Optimize Agent Performance in Any Repository or Skill
这篇文章教你如何通过系统化的测试流程来优化AI代理。核心是建立测试框架,包括定义指标、设计测试案例、迭代改进,从而提升模型性能和可靠性。
Optimizing ML Workload Network Efficiency (Part I): Feature Trimmer
Pinterest的在线机器学习服务系统采用根叶架构,但根叶间网络带宽成为性能瓶颈。通过特征修剪器(Feature Trimmer)技术,仅传递模型实际需要的特征,减少数据传输量。该方案基于模型签名动态同步特征需求,结合压缩优化,显著降低网络负载和延迟,节省了400万美元年成本,同时释放了GPU算力潜力。
From Clicks to Conversions: Architecting Shopping Conversion Candidate Generation at Pinterest
Pinterest针对稀疏且嘈杂的转化广告数据,创新性地构建了多场景统一模型。通过并行DCN v2+MLP架构增强特征交叉能力,并采用多任务学习融合点击与转化信号。关键设计包括:基于停留时间的点击权重调整、广告主层级损失函数引入,以及负样本优化策略。该模型使购物转化量提升2.3%,点击率增长1.5%,同时广告主投资回报率提高3.1%,实现了用户体验与商业价值的双赢。
Smarter URL Normalization at Scale: How MIQPS Powers Content Deduplication at Pinterest
Pinterest 为解决大规模 URL 归一化和内容去重问题,设计的 MIQPS(Minimal Important Query Param Set)算法。核心思路是:按域名和「参数模式」分组 URL,用渲染后的页面内容指纹来测试每个 query 参数是否会改变页面内容;改变则是非中立参数(要保留),不改变则是中立参数(可删除)。
Finding zombies in our systems: A real-world story of CPU bottlenecks
小编发现Pinterest的ML训练任务因网络中断频繁崩溃,排查发现是AWS ENA驱动重置导致。深入分析后,发现是僵尸内存控制组(memcg)堆积引发CPU资源争抢,进而饿死网络线程。罪魁祸首竟是系统默认启动的ECS代理持续崩溃产生泄漏。关闭该服务后问题解决,同时揭露了跨可用区配置差异的乌龙事件。核心教训:警惕系统默认服务,善用性能分析工具,环境一致性至关重要。