知鸦日报2025-02-14

DeepSeek R1 的发布标志着推理模型的重大突破，通过纯强化学习和高质量推理数据，模型自主提升推理能力。R1 不仅解决了行业难题，还开源了技术细节，推动了全球 AI 社区的发展。其创新机制和高效训练方法展示了模型自我优化的潜力，为未来 AI 模型的演进提供了新思路。

在24G显存的单卡RTX 4090上，使用unsloth和lora量化微调技术，成功对62G的deepseek-ai/DeepSeek-R1-Distill-Qwen-32B模型进行全量微调。训练数据为24772条，共9288步，耗时28小时28分37秒。优化技术显著减少了显存占用，提升了训练效率。

本文详细介绍了如何通过modelscope和huggingface-cli下载模型和数据集，并展示了如何在Docker环境中构建和启动容器进行模型训练。文章还涉及了微调前的推理过程、数据集和训练参数的设置，以及训练过程中的日志和资源使用情况。最后，提到了一些常见问题的解决方法，如环境变量设置和wandb的配置。

资损防控通过智能化手段提升效率，存量场景中利用AI模型分析代码，推导资损接口链路，确保防控覆盖；增量场景中，从需求到发布全流程智能管控，识别资损风险并覆盖测试用例。方案结合领域专家模型训练，精准识别资损，构建全链路防控体系，有效降低资损风险，提升业务稳定性。

长尾数据分类面临多数类主导问题，解耦训练范式通过特征学习与分类器再训练分离取得进展。创新指标Logits Magnitude和Regularized Standard Deviation揭示了分类器优化的关键。提出的标签过度平滑（LOS）方法软化类间差异，有效抑制多数类干扰，在多个长尾数据集上实现最佳性能。

基于强化学习的大模型训练微调技术正推动AI推理能力的显著提升。OpenAI和DeepSeek通过模仿人类慢思考过程，结合RLHF、DPO等方法，优化模型策略与奖励设计，增强复杂问题解决能力。未来，自我训练、高级推理与安全性的结合将进一步突破技术边界，推动AI向AGI迈进。

gRPC为微服务提供标准RPC通信策略，但需扩展以满足自定义功能、技术栈结合、业务需求和性能优化。go-zero通过core、internal、zrpc目录结构适配gRPC，自动封装调度机制，使用etcd作为默认服务发现，支持服务启动时的健康检测和监控设置，简化开发流程。

2023年2月，Uber启动从本地数据中心向Oracle Cloud Infrastructure和Google Cloud Platform的迁移，并引入Arm架构主机以降低成本、提升性能并增加硬件灵活性。迁移过程涉及七阶段，包括主机准备、构建平台更新、硬件评估等。Uber通过引入Bazel构建工具，解决了跨架构容器镜像构建的挑战，最终实现了多架构环境的平滑过渡，为未来大规模服务迁移奠定了基础。

在处理网页长任务时，避免阻塞主线程是关键。通过将大任务拆分为多个小任务，可以提升用户体验。常见方法包括使用setTimeout()递归、async/await结合setTimeout、scheduler.postTask()和requestAnimationFrame()等。scheduler.yield()简洁高效，MessageChannel()性能优异，而Web Workers则是最佳选择，彻底将任务移至后台。根据需求选择合适方法，确保页面流畅响应。

Caffeine缓存通过ConcurrentHashMap存储数据，采用窗口区、试用区和保护区管理元素生命周期，各区使用LRU算法的双端队列。TinyLFU算法优先驱逐低频元素，Count-Min Sketch记录访问频率，保证高准确率且内存占用少。读写操作分别通过MPSC模式的ReadBuffer和WriteBuffer添加任务，由maintenance方法异步执行，确保缓存高效运行。

升级JDK11后，G1GC导致内存利用率飙升至90%以上。通过观察发现，G1GC的Old区未触发回收，内存持续攀升。临时解决方案为重启机器，最终通过调整JVM参数将堆内存缩减至8G，问题解决。G1GC采用分区管理，相比CMS更灵活，但内存占用较高。建议根据容器大小合理设置堆内存，避免内存浪费。

外卖商家营销活动面临效率低、开发遗漏、可扩展性差等挑战。通过统一活动数据模型,优化配置表单方案,提升接口安全保障,大幅提高开发效率。新版架构采用组合式领域模型设计,简化数据流转,集中管理,降低维护难度,为国际化外卖营销业务提供强有力支持。

大语言模型(LLM)通过互联网数据预训练,经过分词、神经网络处理等步骤生成文本。预训练后,需通过监督微调和强化学习提升模型性能,减少“幻觉”现象。LLM通过上下文窗口和推理机制生成非确定性输出,具备创造力但可能产生错误。未来LLM将向多模态、代理化、实时训练等方向发展,融入更多应用场景。

美团与中国人民大学合作研发的PASS系统,通过集成在线和离线预测模型,解决了企业大规模服务弹性伸缩中的负载预测和资源分配难题。系统结合ELPA预测算法和基于日志的性能模型,实现了高准确度的负载预测和高效的资源调度,显著提升了服务质量保障率并降低了资源成本。

告警是保障系统稳定性的基石,通过监控和报警机制及时发现并响应异常。IT系统可用性取决于MTTF和MTTR,提升MTTF、降低MTTR是关键。告警体系建设需明确监控对象、分析指标、采集数据并配置规则,确保告警真实、详细、可操作。合理划分告警等级和通知策略,避免误报和告警风暴,高效处置告警事件,提升系统可靠性。

Deployment与Daemonset部署方式差异显著:Deployment支持多副本分布,可配置HPA;Daemonset每个节点仅限一个副本,适用于日志收集等场景。公司早期采用Daemonset部署ingress-nginx,但随着业务量激增,面临服务崩溃问题。为应对流量暴涨,决定将ingress-nginx从Daemonset改造为Deployment模式,涉及压测、HPA配置、VIP迁移等步骤,以提升服务稳定性和运维效率。

在项目中,我们整合了swagger2.0语法与自定义返回数据结构,解决了文档描述与参数映射分离问题。通过引入参数定义,统一了文档生成、解析、验证和赋值流程,确保控制器获取准确请求数据。同时,我们调整了路由方案,增加了适配器以兼容旧路由解析方法,并预生成文档结构,实现了gf2与旧版路由的统一。这一改进提升了项目维护效率和对接便捷性。