知鸦日报2025-05-14

Lalamove利用Flink技术构建实时数仓，应对业务扩张带来的技术挑战，如多数据中心、时区差异和上游系统频繁改造。通过引入Paimon湖仓和Flink新特性，实现了数据模型兼容性、资源优化和成本降低。未来，Lalamove将继续探索湖流融合技术，进一步提升实时数仓的性能和效率。

Pinterest通过统一动态框架（UDF）解决了实验指标计算中的扩展性和延迟问题。UDF利用动态DAG技术，实现了并行批处理、自动回填和通知功能，显著提升了指标交付速度和可靠性。该框架支持100倍指标增长，未来可扩展至500倍，同时简化了管道创建，使开发者专注于创新。标准化处理推动了实验平台的创新和业务成果。

云舟观测推出了基于AI技术的智能SQL助手，旨在提升企业级数据库管理中的查询优化、性能诊断和运维效率。该助手支持SQL生成、诊断和解释，采用分层架构，包括交互层和核心引擎层，支持动态上下文切换和多阶段提示工程。未来将扩展RAG体系、支持多方言，并探索智能问数方向，以提供更智能化的数据查询和分析服务。

DeepSeek-V3在多个评测中表现优异，成为热门开源大模型。团队通过优化RTP-LLM推理引擎，提升了Prefill和Decode阶段的性能，分别达到42.6K和14.7K TPS。测试在阿里云H800 RoCE环境下进行，采用PD分离和分布式EP架构。未来将优化算子性能、EPLB负载均衡及MicroBatch方案，以应对更长序列任务和异构计算卡挑战。

LoongCollector在日志场景中实现全面升级，优化了功能、性能和稳定性。通过高性能、灵活的Pipeline流水线，支持多种插件组合，提升日志采集和处理效率。新增流水线配置热加载隔离，减少配置变更影响。核心场景采集性能显著提升，CPU和内存占用降低，采集速率提高。稳定性增强，提供全面的自监控功能，支持网络异常隔离和质量自动探测，确保数据发送稳定。

深分页问题在企业应用中常见，尤其在电商场景中，查询靠后页码数据时I/O开销大、延迟高。AnalyticDB通过快照缓存优化深分页查询，减少全局排序和数据量，显著提升性能。优化后，数据导出和分页展示场景下，CPU使用率和峰值内存大幅降低，查询延迟从54391ms降至525ms，性能提升102倍。该方案已在金融客户中应用，将慢查询从30s优化至0.5s。

携程机票前端采用Server-Sent Events（SSE）技术，实现服务端实时推送数据，优化了航班列表页的实时展示需求。通过全链路支持，包括链路层、框架层和数据层的适配，SSE显著减少了请求次数，简化了代码结构，提升了资源利用率。该方案适用于多种网络架构和业务场景，为实时数据处理提供了高效解决方案。