从客户痛点到工程化产品-火山方舟 PromptPilot 落地实践启示录

1. 从客户痛点到工程化产品：火山方舟PromptPilot 落地实践启示录姓名：王铁飞火山引擎大模型算法工程师

2. AI下半场 AI下半场: 落地落地落地！大模型商品化 AI服务普及化场景应用悖论

3. 01 大模型应用落地的挑战 02 火山方舟PromptPilot 的破局之道：痛点驱动的产品能力与实践路径 03 沉淀与前行：从服务到产品的工程化启示与未来展望目录

4.

5. 01 大模型应用落地的挑战

6. 大模型应用落地的挑战清晰表达需求模型能力边界上下文动态适应

7. 大模型应用落地的挑战 – 清晰表达需求用户的需求是人脑中的意图和评转化为模型能理解更强的模型解锁更场景定制的估标准有个通过的具像化目标提示复杂任务需求必须由用户反馈交互词、评估标准、评结构化表达自己来定逐渐清晰的过程测用例更难也更有价值互动建模：自动为主，互动为辅

8. 大模型应用落地的挑战 – 模型能力边界大模型应用本质人工摸索大模型能力自动化提示词工程懂上下文是寻找定制场景的边界是一个用户意图可执行、可验证、模型能力边界反复调整指引的搜索问题联动训练提示词过程非常痛苦核心：自动

9. 大模型应用落地的挑战– 上下文动态适应大模型应用很多是大模型的开放式开发中、上线后上下文都有很多想象不到的人类高级思维问题是多样、多变的 Badcase 出现闭环联动 Badcase的持续检测评估标准持续迭代上下文自适应

10. 01 大模型应用落地的挑战 02 火山方舟 PromptPilot 的破局之道：痛点驱动的产品能力与实践路径 03 沉淀与前行：从服务到产品的工程化启示与未来展望目录

11. 火山方舟 PromptPilot 的破局之道：痛点驱动的产品能力与实践路径互动建模：从需求到目标提示词，数据集评估标准自动：从目标到Solution Tools, Context Engineering Solution Out AutoPE Post-train联动精调 Domain Studio AI Engineering AI 辅助用户反馈优化的提示词场景适配的model Solution Badcases 回流评估集构建闭环：Badcase 检测任务定制 Eval Model 评估服务 Run Time Metric Probe API 自适应

12. PromptPilot 详细揭秘：驱动 AI 进化的能力引擎 Data Engineering Prompt优化和联动精调闭环 Badcase 检测 Solution 数据智擎工坊 Prompt 臻化联动舱智能闭环・Badcase洞察站 AI方案生成器互动建模：从需求到目标自动联动闭环 General的解决方案

13. PromptPilot 详细揭秘：驱动 AI 进化的能力引擎问题工程 Question Engineering Prompt生成答案工程上下文工程 Answer Engineering Answer生成 SOP的生成知识库辅助Prompt生成知识库辅助变量生成 (素材内容生成) 模型回答变量生成 (用户素材或者问题) 提取标注意图 Context Engineering 自动生成评估标准 Data Engineering 知识库辅助Answer生成

14. PromptPilot 详细揭秘：驱动 AI 进化的能力引擎 probe API AutoPE （自动提示词调优）联动精调 Solution 闭环：Badcase 检测 Prompt优化和联动精调 feedback API 通过 probe API 对线上task的 badcase 进行以 project 的概念管理相关 tasks，闭环处理，结合前两个阶段建立的评估标并通过feedback API 对线上部署的准，提供自适应的 badcase 分析与提取服端到端 project 进行用户反馈(或务。应用指标）采集，分析端到端用户此外，评估标准也会随着生产环境的变化反馈(或应用指标)与 project中各动态演进，确保大模型应用能够持续优化并具备自适应能力，从而不断提升性能和个 tasks 性能之间的潜在关系，帮助用户有针对性地进行性能调优。视觉理解视频再创 General Solution 稳定性。 Prompt 臻化联动舱智能闭环・Badcase 洞察站 AI 方案生成器

15. 数据智擎工坊：Question Engineering Prompt 生成问题：很多用户都有需求，但是如何把需求转为提示词呢？尤其是在 2B场景根据用户的任务描述生成基础，可用的 Prompt

16. 数据智擎工坊：Question Engineering 全局反馈+局部反馈，助力用户明确需求

17. 数据智擎工坊：Question Engineering Prompt 生成：VideoPilot 根据视频，自动分镜，生成可用的 Prompt 问题：如何获取视觉任务的提示词？

18. 数据智擎工坊：Question Engineering 变量生成 (用户素材或者问题) 使用方法模型会根据 Prompt 上下文信息和变量的含义，生成变量内容，帮助无数据的用户验证 Prompt；变量：对应的就是客户的问题 1 可以直接点击AI生成变量内容 2 或者直接粘贴实际的业务素材

19. 数据智擎工坊：Question Engineering 全集反馈 + 局部反馈, 助力变量生成更准确增加素材的真实性增加变量的细节和丰富度基于素材内容的局部反馈如对客户投诉内容，增加处理时间和检测流程等基于素材内容的全局反馈如针对媒体报道，要求增加媒体名称和详尽内容等，看起来更真实

20. 数据智擎工坊：Question Engineering AI 生成变量（增加 AI Search）问题解决方案在变量内容的生成过程中，通过增加 AI Search 功能，有一些是对时效性要求比较高的场景，通过 AI Search 的方式，尽可能可以补齐时效性不足的问题，从而辅助生成更好的素材内容来辅助生成变量

21. 数据智擎工坊：Answer Engineering 参考答案的生成和校准问题解决方案通过 Answer 用户清晰地表达了需求， Engineering 来构造答但是对一个问题而言，有案空间。我们可以通过正的、负的答案，开放的多模型来生成多样性的问题有相对好的、坏的答答案，客户可以通过对案，很多时候，其实很难比，选择，反馈拿到理给出理想一点的参考答案想回答关键词多模型辅助生成参考答案全局反馈局部反馈

22. 数据智擎工坊：Answer Engineering 问题：有了数据集，那么应该如何评估效果呢？模型回答：提取标注意图，自动生成评估标准针对批量的 case 集合，可以直接使用已有的评估标准或者让 LLM 自动生成评估标准，并完成批量打分小步优化通过三条反馈数据，即可开启 AI 自动生成评估标准支持直接输入自定义评估标准也支持AI自动生成评估

23. 数据智擎工坊：Context Engineering 知识库辅助 Prompt 生成问题解决方案当客户所处场景具有上线结合知识库的 Prompt 冷启动方案，通过KB来辅助生成强领域专业性数据敏感性业务定制化 Prompt 典型场景仅采用大模型自己的知识，容易比如内容判敏，在什么规则下造成和业务实际脱节。在这种情是敏感，什么规则下是不敏感，况下，必须结合自有知识库才能需要把客户自己的知识融合到生成高质量 Prompt Prompt 里

24. 数据智擎工坊： Context Engineering 知识库辅助变量生成问题解决方案如果用户已经有了一些素材的样例，需要生成和样例风格一致的case，怎么办？上线结合知识库的变量生成方案

25. 数据智擎工坊： Context Engineering 知识库辅助 Answer 生成问题解决方案目标场景的问题答案高度依赖特定知识库内容，无知识库支撑时无法形成有效回答上线结合知识库的答案生成方案

26. Prompt 臻化联动舱：Prompt优化和联动精调 Prompt 批量优化基于批量的 case 集合对 Prompt 进行优化产生效果更好的 Prompt

27. Prompt 臻化联动舱：Prompt优化和联动精调报告页：查看优化报告

28. Prompt 臻化联动舱：Prompt优化和联动精调视觉理解优化场景

29. Prompt 臻化联动舱：Prompt优化和联动精调多轮优化场景

30. Prompt 臻化联动舱：Prompt优化和联动精调 Function call 优化场景

31. Prompt 臻化联动舱：Prompt优化和联动精调 Prompt优化支持的模型当前 PromptPilot 已支持添加任何 model (兼容 api_key 标准协议的)

32. Prompt 臻化联动舱：Prompt优化和联动精调联动精调在 Prompt 迭代数百轮，PromptPilot 可以自主判断是否要发起精调如需精调系统利用空余算力主动发起精调，自动返回精调前后对比并主动推进下一步部署

33. Prompt 臻化联动舱：Prompt优化和联动精调联动精调联动精调入口

34. 智能闭环・Badcase洞察站：Badcase 检测 SDK probe 通过SDK使用PromptPilot 为开发者提供了从测试到上线、从评估到调优的一站式闭环体验，加速 LLM 应用迭代，显著提升迭代速率，提升用户体验

35. AI方案生成器：Solution 视觉理解 solution PromptPilot 能够自动判断问题，自动选择模型和工具 85 辆 80-90 辆 72 辆 59 辆

36. AI方案生成器：Solution VideoPilot: 视频在创

37. PromptPilot 详细揭秘：驱动 AI 进化的能力引擎 PromptPilot：解锁你的专属 AI 能力宝藏 Data Engineering Prompt优化和联动精调闭环：Badcase 检测 Solution 解锁解锁解锁解锁清晰的Prompt 一个更高质量的回流的数据完备的数据集 prompt 和用户反馈信号， case的理想回答一个领域自适应的助力online和offline闭环评估标准 llm 每个关键词，解锁一个痛点问题一个解决方案视觉理解视频再创

38. PromptPilot让大模型应用落地更容易释放模型潜能提升落地效率降低落地难度提升模型在业务中落地效果的上限帮助企业/开发者高效优化Prompt 快速跑通大模型落地流程帮助业务人员无门槛表达业务逻辑更好的发挥业务价值模型上限业务优化时间从周级 →天级现在团队 PromptPil ot 业务/技术人员 PromptPilot 基线表现传统PE调试 Promptpilot智能调优过去团队专业算法团队

39. 01 大模型应用落地的挑战 02 火山方舟 PromptPilot 的破局之道：痛点驱动的产品能力与实践路径 03 沉淀与前行：从服务到产品的工程化启示与未来展望目录

40. 沉淀与前行：从服务到产品的工程化启示如何scaling？最初仅靠算法同学服务客户，人力与效率受限，难以大规模施展算法能力。如何设计产品？客户需求呈现出多样性与场景化的特点，不同客户姿势各不相同，那么如何适配各种使用范式如何确保大家能用起来？结合前两步，如何让产品真正产生增效 1 2 3 能力规模化的必然选择唯有通过产品化，将算法能力封装为易用、可复用的产品形态，才能突破单点服务的局限，实现算法价值的规模化释放，高效响应更多客户的需求。以客户为中心的产品设计逻辑产品设计时，秉持易用性原则，降低客户使用门槛。同时，要预留灵活的扩展与适配空间，以应对不同客户差异化的落地路径，确保产品能在多样场景中为客户创造价值。协同打法的增效价值结合 FDE的打法，能够在从服务到产品的工程化进程中，实现各环节资源与能力的更优整合，深度打磨产品、进而获取更显著的收益

41. 未来展望深度合作易用性效果围绕建立AI原生应用来构建整套解决方案共创，深度优化产品 PromptPilot Post - train 算法迭代、数据闭环、助力大模型潜能持续升级持续优化，扩展边界效率解锁更多的场景和应用

42. 文档和手册 PromptPilot 独立站入口 PromptPilot 用户手册方舟帮助文档 PromptPilot SDK 文档 https://promptpilot.volcengine.com https://www.volcengine.com/docs/82379/1399495 https://bytedance.larkoffice.com/docx/R2uPdJmmuoAwq7x3T8Sck1FYnmG https://www.volcengine.com/docs/82379/1587837 https://bytedance.larkoffice.com/wiki/VtEgwevT6idFcFkeIWjcmtSBnHt PromptPilot 白皮书 https://bytedance.larkoffice.com/wiki/VtEgwevT6idFcFkeIWjcmtSBn Ht

43. PromptPilot 面向所有用户全模型兼容全面开放！ PromptPilot 交流群交流群为大家提供交流平台请通过微信或企业微信扫码加入 PromptPilot 白皮书扫码获取电子白皮书

44.

45. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software