知鸦日报2025-07-13

Zalando面临合作伙伴数据获取与处理繁琐的挑战，通过引入Delta Sharing技术，实现了数据共享的高效与安全。该技术支持多种数据访问模式，覆盖不同规模的合作伙伴需求，简化了数据整合流程，提升了数据分析效率。Zalando逐步将这一解决方案扩展为全平台服务，优化了数据治理与合作伙伴关系，推动了数据驱动决策的发展。

Dropbox推出新型高级密钥管理方案，采用三层加密体系，提升团队文件加密的安全性和效率。通过团队密钥、命名空间密钥和数据块密钥的分层管理，实现了快速文件共享和复制。方案结合硬件安全模块，优化密钥缓存和轮换，确保数据安全的同时不影响用户体验。此举为企业和组织提供了更强大的数据保护能力，适应不断演进的网络安全需求。

文章介绍了如何利用Kafka分离读写数据库，优化内容存储与分发。通过Tudum Ingestion Service将CMS数据转换为读优化格式，Data Service Consumer将内容存入Cassandra数据库，支持页面构建服务。然而，这种架构导致编辑内容延迟显示。为解决此问题，引入了RAW Hollow技术，提供内存中强一致性数据访问，显著提升性能与可用性。

Pinterest数据工程团队基于Kubernetes构建了新一代大数据处理平台Moka，以替代老化的Hadoop系统。Moka采用Spark on EKS架构，整合了Spark Operator、YuniKorn调度器和Celeborn远程混洗服务，支持ARM/Graviton实例和容器化部署。平台通过Archer作业提交系统实现与现有工作流的无缝集成，并引入自动化验证流程确保迁移稳定性。目前已完成70%批处理作业迁移，性能提升5%，同时通过资源隔离和队列管理优化了成本效益。