知鸦日报2025-04-11

在模型搭建、模型优化、部署推理阶段后，测试中，建模和测试过程中使用了量化，使用量化模型对比了原始模型最终推理速度，最终是稍微降低模型的吞吐量，在推理速度上，通常比原始模型要差一些。

货拉拉推出了流程画布平台，以数据驱动为核心，整合多策略组合，精准定位用户和司机，全渠道触达并发放奖励。平台覆盖用户和司机全生命周期，通过事件触发、条件规则和动作执行的策略模型，提升运营效率。系统架构支持海量事件接入和高效策略引擎，助力业务增长和流量价值最大化。未来将探索大模型应用，拓展更多业务场景。

eBay的Touchstone A/B测试平台面临数据处理规模与性能挑战，原有架构已无法满足需求。新架构采用Spark替代MapReduce，优化数据模型与调度系统，显著提升计算效率与资源利用率。通过动态资源调配与智能调度，指标计算时间从30小时缩短至8小时，支持大规模数据分析与灵活的多维度探索，为业务决策提供更强支持。

本文介绍了如何微调Gemma模型以提升其在金融推理数据集上的准确性，并适配数据集的风格。同时，探讨了使用PyTorch和Hugging Face开发大语言模型（LLMs）的最新深度学习与NLP技术。此外，还涉及了使用TorchTune微调Llama模型、量化等高效微调技术，以及利用OpenAI的嵌入模型解锁语义搜索和推荐引擎等高级AI应用。

本文介绍了如何通过QLoRA和TRL技术对Gemma 3模型进行微调，以优化其在视觉语言任务中的表现，特别是从图像生成LaTeX公式。文章详细讲解了数据集准备、模型配置及微调过程，展示了微调前后模型生成LaTeX公式的对比，证明了微调对提升模型准确性的显著效果。

Google最新推出的Gemma 3系列AI模型，轻量高效，支持多语言和多模态任务。本文详细介绍了如何利用FinancialPhraseBank数据集，通过PEFT和LoRA技术对Gemma 3 1B-IT模型进行微调，使其在金融情感分析任务中表现显著提升，准确率从55%提升至85%。微调后的模型在资源受限环境下表现出色，适合快速推理和部署。

Uber在Kubernetes上运行Ray作业管理系统，通过弹性资源管理和自定义调度器优化资源利用。资源池按团队划分，支持动态共享和抢占，提升集群利用率。针对异构集群，开发GPU过滤插件，确保GPU和非GPU任务高效调度。特殊硬件请求通过SKU过滤机制精准匹配，避免资源浪费。这些改进显著提升了机器学习管道的效率和可靠性。

RTP-LLM是阿里自研的大模型推理加速引擎，通过P-D分离技术优化大模型推理性能。Prefill阶段负责生成KVCache，Decode阶段利用KVCache生成后续Token。P-D分离让两者独立运行，避免相互干扰，提升时延稳定性。采用RDMA技术加速KVCache传输，减少通信开销。该方案已在多个场景上线，显著降低时延和资源占用，未来将继续优化长序列处理和分布式调度。

AI开发者通过MCP协议开发插件，解决UI还原痛点。MCP作为AI与外部工具集成的标准，提供统一接口，提升开发效率。作者详细记录了从零开发MCP插件的学习路径，结合AI实现设计稿转React代码，优化开发流程。过程中遇到调试困难、任务衔接等问题，最终成功集成插件，提升开发体验。

AB实验是决策的重要工具，但存在SRM和AA问题。AA问题指实验分流是否均匀，影响结论可信度。解决AA问题的三种方法：AA测试、重随机和回顾性AA分析。AA测试通过重现实验流程识别问题；重随机通过多次哈希种子选择最均匀的分流；回顾性AA分析通过实验后观测增加结论可信度。这些方法在不同阶段相辅相成，提升实验结果的可靠性。

RPC接口设计应避免模仿HTTP响应，回归其隐藏远程调用复杂性的初衷。正确做法是让远程调用像本地方法一样简洁，返回值直接明了，异常通过抛出处理。避免使用包含errorCode、errorMessage的Result对象，减少代码冗余，提高可读性和维护性。设计时保持方法职责单一，利用异常机制强制错误处理，确保代码优雅健壮。