2026-07-19 16:30:00 ~ 2026-07-20 16:30:00
大模型有四大先天约束,工程化是必然。从Prompt工程开始,到Context工程管理信息,再到Harness工程构建完整运行时,最终演化出五层Agent操作系统。核心是从“防御”转向“赋能”,为LLM创造犯错成本最低、正确路径最短的执行环境,实现稳定、大规模的企业级任务执行。
登录后可查看文章图片
代码审查中重复的反馈其实是未文档化的需求。我们构建了一个自改进系统:自动生成技能目录,并设计三层评估框架衡量质量。通过挖掘审查评论中的模式,系统自动修正生成器,六轮迭代后,重复评论消失,系统学会自我收敛。当标准变化时,反馈循环会自动重启。
登录后可查看文章图片
Netflix构建了基于vLLM和Triton的LLM服务平台,统一了gRPC与OpenAI兼容API。关键决策包括:引擎选择vLLM、优化模型打包与部署策略、通过约束解码提升输出质量。生产环境揭示了版本兼容、冷启动延迟和状态管理挑战,后续将聚焦压缩、异步调度和GPU内核优化。
关注公众号
接收推送