知鸦日报2025-06-08

Uber的合规数据存储团队通过构建自动化归档与检索框架，解决了海量数据存储与合规管理的挑战。该框架利用HDFS作为热存储，Terrablob作为冷存储，结合Piper工作流实现数据的高效迁移与检索。通过配置驱动的方式，系统支持灵活的数据生命周期管理，优化存储成本，并确保数据安全与可访问性。未来将扩展冷存储选项，提升模式冲突处理能力，进一步增强系统的灵活性与效率。

Pinterest通过引入Hadoop控制中心（HCC）优化大数据集群管理，简化了集群扩展和缩减操作。HCC自动处理节点退役、数据复制和ASG调整，减少人工干预，确保数据安全。HCC架构包括管理节点和多个工作节点，支持自动化的集群操作，并与Terraform协同工作，避免配置冲突。未来，HCC计划增加更多自动化功能，如节点轮换和故障检测。

Pinterest推出TransActV2，通过160倍的用户行为序列扩展，结合Next Action Loss和高效部署方案，实现终身行为建模。该模型提升了推荐系统的精度和多样性，显著减少用户隐藏行为，增加保存和互动。系统优化降低了99%的延迟，实际应用中提升了用户粘性和内容发现效果。这一突破为大规模实时个性化推荐树立了新标杆。

这篇文章主要介绍了如何快速分享代码、笔记和代码片段。通过克隆指定的GitHub Gist仓库，用户可以轻松获取并保存相关代码到本地，并在GitHub Desktop中使用。操作简单，适合开发者快速共享和协作。