Lowcode x AI云凤蝶的思考与实践

1. Lowcode x AI 云凤蝶的思考与实践江木蚂蚁集团 2024/06

2.

3. 大纲一. AI 对 Lowcode 行业的冲击二. 业界变化趋势洞察编辑态+AI=辅助提效三. 云凤蝶产品与技术实践四. 总结与展望 AI 辅助编程⻜速发展运行时+AI=??? 提示词工程运行时+AI=??? 微调垂直业务+AI=??? RAG 对话式应用生成百花⻬放垂直业务+AI=??? multi agent

4. 一、AI 对 LowCode 行业的冲击 CodeRabbit/Ellipsis: AI 代码 review AI 辅助编程⻜速发展 Cursor: AI 辅助编程清华开源 ChatDev：AI 游戏公司 Devin/SWE-agent: AI 程序员

5. 一、AI 对 LowCode 行业的冲击对话式应用生成百花⻬放 V0: 对话式前端⻚面生成 galileo: 对话式设计稿生成 marblism: 对话式全栈应用生成（React/NodeJS）

6. 一、AI 对 LowCode 行业的冲击难道就到此为止了吗…

7. 一、AI 对 LowCode 行业的冲击如何看待这波冲击？认清 LLM 的本质和能力边界 predict next token （概率）注 1：LLM 学会了人类知识吗 \ Scaling Law 注 2：sora 理解了世界模型吗？

8. 一、AI 对 LowCode 行业的冲击如何看待这波冲击？ Text2Code 是怎么搞出来的？能彻底替代程序员吗？ GPT（Generative Pre-trained Transformer）在大量语料基础上掌握了自然语言的规则 pre train 的基座模型 ChatGPT 在问答数据的 netune 后掌握了在什么场合（prompt）说什么话指令微调（Instruction Tuning）的 netune 模型大规模无监督训练海量互联网文本数据集 predict next token 了解指令微调有监督训练（SFT/RHLF） Text2Code 的关键还是高质量的问答数据集高质量人工标注问答数据集 prompt 引导下的 predict next token

9. 一、AI 对 LowCode 行业的冲击如何看待这波冲击？ lowcode 平台可以搞一个 text2dsl 模型彻底从配置式升级成对话式吗？ Q1：pre train 的基座模型里面包含海量的 dsl 数据吗？没有，但从 lowcode 平台积累的历史应用可以清洗出来 Q2: 有高质量的 text2dsl 的数据集来做指令微调吗？没有，需要人工标注 Q3:标注成本如何？ Case1: 蚂蚁代码大模型（Codefuse）开源指令微调数据集 6.6W 行 csv https://codefuse.alipay.com/welcome/open Case2: OpenAI 数据标注千万美元投入，上千名数据处理团队与外包团队理论可行，实际很难，需要 lots of 💰 人工智能三要素

10. 大纲一. AI 对 Lowcode 行业的冲击二. 业界变化趋势洞察编辑态+AI=辅助提效三. 云凤蝶产品与技术实践四. 总结与展望 AI 辅助编程⻜速发展运行时+AI=??? 提示词工程运行时+AI=??? 微调垂直业务+AI=??? RAG 对话式应用生成百花⻬放垂直业务+AI=??? multi agent

11. 二、业界变化趋势洞察编辑态+AI 辅助提效 🔥火热运行时+AI ??? 有一些尝试垂直业务+AI ??? 创业的热⻔

12. 二、业界变化趋势洞察编辑态+AI = 辅助提效：Power Platform Copilot 自然语言操作 AI 代码建议 AI 代码生成

13. 二、业界变化趋势洞察编辑态+AI = 辅助提效：Power Platform 自然语言生成⻚面 D2C 自然语言生成表单+存储模型

14. 二、业界变化趋势洞察编辑态+AI = 辅助提效：Mendix 辅助逻辑编排 Lint 校验生成

15. 二、业界变化趋势洞察编辑态+AI = 辅助提效：Wix 自然语言对话提取结构化需求结构化需求生成⻚面

16. 二、业界变化趋势洞察按下不表，最后再讲编辑态+AI 辅助提效 🔥火热运行时+AI ??? 有一些尝试垂直业务+AI ??? 创业的热⻔

17. 大纲一. AI 对 Lowcode 行业的冲击二. 业界变化趋势洞察编辑态+AI=辅助提效三. 云凤蝶产品与技术实践四. 总结与展望 AI 辅助编程⻜速发展运行时+AI=??? 提示词工程运行时+AI=??? 微调垂直业务+AI=??? RAG 对话式应用生成百花⻬放垂直业务+AI=??? multi agent

18. 三、云凤蝶的产品与技术实践云凤蝶是什么

19. 三、云凤蝶的产品与技术实践云凤蝶与 AI 结合的规划编辑态+AI：自然语言驱动的低代码引擎运行时+AI：默认智能的新体验、AI 原生的新需求

20. 三、云凤蝶的产品与技术实践产品演示

21. 产品演示：对话式应用研发-制作一个内网海鲜市场

22. 产品演示：导入 Excel 创建应用

23. 产品演示：辅助编程-公式逻辑

24. 产品演示：多模态，根据表单内容智能生成 Banner

25. 三、云凤蝶的产品与技术实践 LLM 简要技术大图推理效果优化 In Context Learning 提示词工程应用层微调针对特定任务无法放在 context 里有高质量数据集偏底层与外部工程/数据连接复杂业务编排 multi agent 框架 RAG 会动态变更有时效性的知识编排复杂任务 Langchain、MetaGPT、AutoGPT Tools 对接外部能力 Function Calling 基座模型训练业务模型训练 PreTraining SFT RHLF Continue PreTraining SFT RHLF 模型压缩量化蒸馏模型部署推理性能优化模型评测数据评测

26. 三、云凤蝶的产品与技术实践一些经验总结

27. 三、云凤蝶的产品与技术实践不要小看提示词工程（以意图识别为例）需求：将用户的自然语言输入识别为 n 个子任务的一种 Q: 诸多 bad case，如何解决？需要微调吗？ A: 这是一个通用的分类任务，没有太多领域知识，先尝试继续优化提示词

28. 三、云凤蝶的产品与技术实践不要小看提示词工程（以意图识别为例） 1. 程序员的老本行：google 找一些前人的经验 2. 让魔法打败魔法：让 GPT 自己帮忙优化本技巧除了应用在开发时，也可以应用在线上以自然语言创建表单为例，用户输入不会像 PRD 一样详细可以预设一个 PRD Agent，让 Agent 先基于用户简单输入扩写需求，或多轮对话追问细节

29. 三、云凤蝶的产品与技术实践不要小看提示词工程（以意图识别为例）

30. 三、云凤蝶的产品与技术实践如何判断需要微调？（以自然语言生成表单为例）遇到问题了组件种类过多 in context learning 不够复杂的组件树嵌套无法生成容易生成非法 json badcase 无法解决稳定可控性能成本微调的作用领域知识补充基座模型未内化的知识严格控制输出格式，避免输出非法 json 相比 prompt engineering 对于不符合预期的 badcase 可以加入训练数据集节省单次调用的上下文 token，省钱 PS. 组件种类过多，而且组件定义版本化变更的，未来可能需要演进成 RAG 方案生成非法 json 的问题，除了 Fine-tuning，也可以考虑 Function Calling 的方案（即让模型输出 attern 的简略结构，再调用 function 程序转换）

31. 三、云凤蝶的产品与技术实践微调数据集不够怎么办？（以自然语言生成公式为例）问题：没有现成的自然语言到公式数据集，纯人工标注成本太高解决方案：程序 + GPT 数据增广

32. 三、云凤蝶的产品与技术实践微调数据准备有哪些容易踩的坑？

33. 三、云凤蝶的产品与技术实践微调数据准备有哪些容易踩的坑？

34. 三、云凤蝶的产品与技术实践如何在业务中实践 multi agent 架构？

35. 三、云凤蝶的产品与技术实践如何在业务中实践 multi agent 架构？（以 IDE 修改组件属性为例）用户原始输入意图识别 agent 实体识别 agent 指令生成 agent 应用 DSL 修改

36. 三、云凤蝶的产品与技术实践如何在业务中实践 multi agent 架构？多个相关微调任务合并成一个蚂蚁开源多任务微调 MFTCoder 框架研发时：提升训练效率运行时：节省前置意图识别性能开销 https://github.com/codefuse-ai/MFTCoder

37. 三、云凤蝶的产品与技术实践如何让 LLM 理解需求而不是指令？（以 IDE 修改组件属性为例）需求：将商品和收货方式放到同一行，突出显示商品信息能理解需求的 Copilot 才是好的 Copilot 指令: 1. 把商品组件布局属性改成内联 2. 把收获方式组件布局属性改成内联 3. 把商品信息组件字体加粗

38. 三、云凤蝶的产品与技术实践如何让 LLM 理解需求而不是指令？（以 IDE 修改组件属性为例） CoT（思维链）

39. 三、云凤蝶的产品与技术实践如何解决 AI 无法 100% 准确的问题？（以自然语言生成表单为例）用好的产品设计来兜底提供对模型中间推理产物的介入修改能力

40. 三、云凤蝶的产品与技术实践如何确保可用性持续提升？建立数据⻜轮，持续迭代训练数据集评测数据集线上数据回流

41. 大纲一. AI 对 Lowcode 行业的冲击二. 业界变化趋势洞察编辑态+AI=辅助提效三. 云凤蝶产品与技术实践四. 总结与展望 AI 辅助编程⻜速发展运行时+AI=??? 提示词工程运行时+AI=??? 微调垂直业务+AI=??? RAG 对话式应用生成百花⻬放垂直业务+AI=??? multi agent

42. 四、总结与展望回顾一下业界变化趋势洞察展开讲讲编辑态+AI 辅助提效 🔥火热运行时+AI ??? 有一些尝试垂直业务+AI ??? 创业的热⻔

43. 四、总结与展望运行时+AI = 新体验：Retool 逻辑编排内置 AI 节点，丝滑的使用 AI 能力

44. 四、总结与展望逻辑编排内置 AI 节点，丝滑的使用 AI 能力运行时+AI = 新体验：Retool

45. 四、总结与展望自然语言数据查询、数据分析、网⻚导航运行时+AI = 新体验：Power Platform 生成每个应用专属 copilot 打通 Microsoft Copilot Studio 表单填写、文本输入建议

46. 四、总结与展望运行时+AI = 新需求面向未来，GUI 和 CUI 注：Conversation UI

47. 四、总结与展望运行时+AI = 新需求海量的 GUI 应用如何适配 AI 时代？激进派废弃 GUI 让 AI 通过 function calling 重新对接 API 根据 Data Schema 智能推理 UI 温和派通过某些技术手段让 GUI 变成 CUI 可消费的

48. 四、总结与展望运行时+AI = 新需求：钉钉智能助理 1.卡片搭建，放弃已有 GUI，重做 2.编写 RPA 脚本将传统 GUI 服务变成 AI 可调用的能力节点

49. 四、总结与展望运行时+AI = 新需求：百度超级助理会议室预定，对接 API, 根据 API Data Schema 自动渲染卡片

50. 四、总结与展望垂直业务+AI = 端到端免研发端到端的对话问卷生成、数据采集对话式交互问卷、训练自己的 AI 回答

51. 四、总结与展望垂直业务+AI = 端到端免研发 AI 版本的 “salesforce” 根据店铺和商品信息 AI 生成客户调研⻚面并分析和追踪回流线索数据拓展客户

52. 四、总结与展望垂直业务+AI = 端到端免研发 AI 用户体验监控传统的监控：网络错误、代码错误基于用户行为的监控：用户疯狂重复点击按钮、用户在一个请求等待过程中鼠标无意义的烦躁移动、某一个按钮或者链接点击之后⻚面没有反应用 AI 做啥： LLM 给抓取到的这个用户 case 生成自然语言描述的标题通过机器学习从大量数据中识别出当下对用户影响最严重的一些问题 push 改进

53. 四、总结与展望 AI 改变 LowCode 行业格局和市场前景了吗 Everest Group 2023低代码报告 AI 会改变 lowcode 商业模式和格局吗 259 个 YC 投资 AI 相关项目统计 (source)

54. 思考 • 先解决基模和卡的可用性问题，从小功能和简单方案入手，不设边界的尝试 AI，遇到问题解决问题 • 承认当下 LLM 能力缺陷，在想做和能做之间找平衡 • 除 LowCode 编辑态辅助提效，还需投入助力生产更智能的应用，以及投入面向 AI Native 的新形态对话式应用生产，以应对需求侧变化 • AI 会进一步激活 LowCode，从需求侧和能力侧都是 • 在通用 LowCode 平台上结合 AI 暂无杀手级场景，寻找垂直业务场景 AI 零代码免研发，端到端解决方案更有想象空间完。感谢