营销领域 AIGC 前沿进展与挑战
如果无法正常显示,请先停止浏览器的去广告插件。
1. 营销领域 AIGC 前沿进
展与挑战
卫海天
2.
3. AIGC发展趋势
•
•
•
LLM
多模态
大模型+插件
4. LLM技术发展
ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟
以后,使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟,随后GPT-1、GPT-2、GPT-3模型持续演化升级,最终孵
化出ChatGPT文本对话应用。人工智能需要巨大的算力和数据投入,未来将形成大科技场提供基础AI能力,中小场围绕不同场景做
应用的生态竞争格局。
5. LLM技术发展
技术原理
Transformer的模型架构出现使得模型性能大幅提升,chatgpt在transformer结构的基础上迭代升级成为引爆全球的AIGC模型。
6. LLM技术发展
研究人员发现模型扩展可以提高性能,他们进一步通过增加模型大小来研究扩展效果。有趣的是,当参数规模超过一定水平
时,这些放大的语言模型不仅实现了显著的性能改进,而且还展现了一些小规模语言模型(例如BERT)所没有的特殊能力
(例如上下文学习)
7. LLM技术发展
为了区分参数规模的差异,研究界为具有显著规模(例如包含数十亿或数百亿个参数)的PLMs创造了一个新术语——大型语言
模型LLM。近年来存在的大型语言模型(大小大于10B)时间线,黄色标记为开源的LLM
8. CV
AIGC技术:从有约束生成到逼真多样生成
图像与视频AI换脸
视频分析与自动剪辑
创意级图像、视频生成
二维图像三维化
文本 + 图片 -> 图片
图片-> 图片的风格迁移
文本提示词->创意图片
... .
..
深度学习技术的升级迭代为计算机视觉发展奠定基础
2012年 2014年 2020年 2022年
卷积神经网络(CNN) 生成式对抗网络(GAN) Vision Transformer模型 扩散模型(diffusion)
生成模型和判别模型的互相博弈,在
欺骗与反欺骗中生成最佳的内容。 将NLP领域霸榜的模型引入视觉领域,实现模
型规模与计算精度的跨越式提升。 对数学本质的探索,带来深度学习新范
式,成就引人惊叹的生成效果。
在图像分类任务上表现远超传统算
法,一战成名,开启深度学习时代
9. MLLM
尽管在处理自然语言场景中取得巨大的突破,但LLMs在处理图像和音频等多模态数据方面仍然存在困难。而在人类的日常生活
中,我们不仅仅通过语言进行交流,还会使用其他感官,如视觉、听觉和触觉等。且随着互联网的普及和各种传感器的广泛应
用,我们可以收集到大量的多模态数据,图像、音频、视频等数据的总量远远超过文本。同时现实中大量复杂问题的解决也必
然涉及到多个模态的交互,因此在LLMs之后,多模态大模型将成为未来研究的重点
10. MLLM
VQA, 模型+传感器等等
11. 大模型+插件的交互形式
大模型变成新一代通用平台,通过各种plugin来处理
海量的现实生活事务,产品交互范式转移,从用户适
应产品变为产品适应客户,大量长尾需求得到满足。
12. 大模型时代营销领域新的机会与挑战
•
•
应用
技术
13. 新趋势:大模型如何改变营销环境?
重构内容生产
重塑流量格局
创新运营服务
企业如何应对:比竞对更快适应大模型时代
加速商业洞察
14. 营销生产力大爆发,所有功能都有机会用大模型再做一遍
更高效的内容生产线带来海
量内容供给
BGC (几周-几个
月)
• Agency产出Big Idea
• 70%案头工作+20%头脑风
暴+10%
PUGC (几天-几周)
•
KOL和KOC等创作者,
众筹式生成大量内容
AIGC (几分钟-几小时)
•
AI生成内容,效率极大提升
内容产出效率
面向不同消费者生成不同内
容,达成更好触达转化效果
更个性化、有温度的一对一
服务成为可能
提
高
效
率
• 在大规模的一对多用户服
务和运营等场景,帮助人
工客服和社群运营预生成
符合场景和客户需求的大
量的个性化内容
场
景
拓
展 • 基于大模型,可回答知识库
中超出预设流程的问题,拓
宽Chatbot应用场景,更好
地分发和解决客户问题
体
验
升
级 • 可生成不同风格的对话内
容,其较为灵活的语言风格
可更好的模拟人工客服服务
自然语言交互终端+大模型原
生应用
传统搜索引擎
大模型问答+Plugins
消费者期待更及时、更个性化
的服务
多终端+大模型原生应用
流量向新应用转移,消费者期
待品牌随时随地互动
大模型加速颠覆原有的市场研
究模式
• 帮助市场研究部门快速总结趋
势、提出观点、启发研究、策
划方向
假
设
形
成
信
息
收
集
• 自动化生成问卷
• 对话式AI访谈
• 结合更多元的数据范围
• 大批次分析非结构化数据
产
(定量)
出
洞 • 将复杂的数据分析过程可
视化为图表和图形
察
洞察向敏捷化、自动化升级
15. 重构内容生产:更高效的AI生成内容流水线带来海量内容,争夺消费
者有限注意力
更高效的内容生产线带来海量内容
更高效的内容生产线带来海量内容
大厂推出AI生成广告服务
BGC (几周-几个月)
• Agency产出Big Idea
• 70%案头工作+20%头脑风暴
+10%
Advantage+
消费者面临海量内容的冲击,内容消费
需求进一步分化:
• Meta筹划在12月之前推出AI生成广告商业化服
务,并与谷歌一起探索该技术的实际应用 1
•
PUGC (几天-几周)
•
KOL和KOC等创作者,众筹式
生成大量内容
• 利用AIGC能力,帮助汽车品牌定制百家号、品
牌内部、经销商文案内容产出
Agency推出AIGC营销套件
AIGC (几分钟-几小时)
•
AI生成内容,效率极大提升内容产
出效率
信息来源:1. Meta CTO采访
• 蓝色光标销博特发布AIGC“创策图文”营销套
件,结合内容营销“Know-How”提供从创意、
策划、文案、图片等内容生产解决方案
接收更多机器生产内容
•
主动搜寻高质量内容
品牌在内容的量和质上均面临竞争
• 既需要管理海量内容稳定生产,使其
广泛低成本地触达消费者
• 也需要高质量内容脱颖而出,击穿用
户心智
16. 冲击搜索广告,新交互模式下媒介重归中心化?
当下:冲击搜索广告
未来:新交互模式、新终端、新应用
大模型成为新流量入口,削弱搜索引
擎,与下游应用并存
• 高频、刚需、易抽象功能如打车、
购物等仍由图形界面承载
• 大模型解决灵活度高、复杂的用户
需求,并成为模糊需求的分发入
口,获取更多主动搜索、浏览的用
户数据
新Bing广告
• 下游站点或应用的流量价值可能被
削弱
品牌通过LMO增强对用户的触达
•
ChatGPT的AI版必应(Bing)推出一个月
后,必应每日活跃用户首次突破1亿人,冲
击谷歌市场份额
•
推出基于新Bing的搜索广告
信息来源:Similarweb,. 彭博社
• 从大模型+Plugins更进一步到自然语言交互
新终端+LLM原生应用
• 低频、灵活度高、复杂的用户需求或PC、
手机之外的交互场景下,大模型更可能成为
主要信息入口
• 品牌从追求SEO(Search Engine
Optimization) 转化为LMO
(Large Model Optimization)
17. 创新运营服务:更个性化、有温度的一对一服务成为可能
AI客服使用场景更为多样
更准确的意图识别
• 大模型上下文的关联能力强,能支撑多轮
对话
更低成本的冷启动
• 借助大模型,快速、低成本的习得新知识
• 应对复杂场景的能力升级:可以基于大模型
的知识回答知识库中不具备的问题或者查出
预设流程的问题 • 消费者:期待更及时、更个性
化的服务
• 为用户带来的体验升级:可以生成不同风格
的对话内容,基于个人信息和历史交互,提
供个性化回答 − 有较大的降低客服成本的空间
AI辅助人工服务效率提升
• 在大规模的1对多用户运营等场景,帮助人
工客服、运营人员预生成符合场景、符合客
户情况的个性化互动内容
• 品牌侧:
− AI客服+多品牌触点为消费者创
造无缝的品牌体验
− 借助客服触点,构建营销场
景,将成本中心转化为价值中心
18. 加速商业洞察:大模型加速颠覆原有的市场研究模式
假设形成
信息收集
数据收集提效扩量
激发假设形成
• 在有效的Prompt(提示)下,
大模型可以帮助帮助市场研究
部门快速总结趋势、提出观
点,启发研究、策划方向
信息分析
•
自动化问卷:借助AI自动生成
调研问卷,输入任意调研主
题,创建调研问卷
• AI访谈:AI对话式的受访者访
谈,大规模、高效率提升回
答的体验和质量
• 拓宽数据范围:在研究中结
合更为范围的数据
信息分析提效
• 批量化的大批次的分析非结构
性的文本数据
• 将复杂的数据分析过程可视化
为图表和图形
借助大模型:
• 降低市场研究的知识门
槛,未来品牌侧应普遍
具有简单的洞察能力
• 未来对商业洞察的需
求,将更多转向对更多
元和广泛的数据进行更
深入的洞察
19. 新应用:AI 在中国特色的营销中如何应用?
创新、创意生成
商业洞察和反馈
4
运营与服务
基于社媒/评论/会话数据的
消费者洞察
1 AI辅助产品创新 2 AI生成创意内容 AI辅助客服 & 智能客服
3 AI辅助数字人直播 员工赋能教育
社媒账号运营
线下生意提效
5
线下门店AI辅助
多种营销场景
产品创新
新市场进入
策划Campaign
用户私域运营
20. 营销智能AIGC应用场景
针对某产品的讨论角度总结报告
舆情总结报告的自动化撰写
基于知识库的单篇文章信息抽
取
LLM观点聚合
自动化报告
21. 营销智能AIGC应用场景
舆情数据的智能解读
自动解读:
根据给定数据,可以看出微博在所有平台
中拥有最高的声量,而在2023年3月13日
上午10点,微博的声量达到了629,是最
值得关注的一天。
此外,根据给出的数据,3月13日互动量
高的原因主要集中在两个话题:#XXX#和
@XXX。这两个话题的互动量主要来自于
粉丝的关注和期待,以及宣传活动的预热
和宣传。
其中,#XX#话题的互动量最高,可能是
因为XX是一位非常受欢迎的明星,具有
很多忠实的粉丝。同时,他和@XXX美发
一起推出的护发配方,也吸引了不少人的
关注和期待。
总的来说,3月13日互动量高的原因主要
是因为两个话题的宣传和预热活动引起了
消费者的关注和期待,以及粉丝的热情参
与。
22. 营销智能AIGC应用场景
营销领域短视频脚本生成,输入产品关键词几秒生成海量完整脚本,同时一键复制实现自动配音,大幅缩短创作周期
23. 营销智能AIGC应用场景
在多个行业积累的知识图谱体系,在大型预训练模型的框架下使用海量social数据训练出多行业自动营销文案生成模型,实现简
单输入关键词进行多种模式快速营销文本生成
24. 营销智能AIGC应用场景
25. 营销智能AIGC应用场景
26. 营销智能AIGC应用场景
结合营销知识库,加载大模型对话能力与虚拟人技术,进行自动电商直播,提高卖货效率
话术框架
基于商品信息的内容生成
实时互动引导购买
27. 营销智能AIGC技术:定制化LLM
定制化的LLM:开源模型+数据训练
效果反馈
学习高互动内容生成逻辑,持续
提高内容生成效果达成
Phase II
TBD
RLHF
update
内容生成
按输入的 prompt 生成内容
Phase I
Data (new knowledge)
• Hot trend
• Popular topics
Instruction Finetune 训练语料库:
通过将各种不同的任务转化为指令数据形式,对语言模型进行
进一步微调。
持续为模型注入新知识,加强内容生
成能力(流量密码)
Instruction
Finetune
语料训练,提高指令理解能力
+
Base Model
glm/bloomz/llama
*Base model 是指只在大规模文本语料中
进行了预训练的模型,未经过指令和下游任
务微调、以及人类反馈等任何对齐优化。
Other Model
•
Quality control OTC
•
NER
训练语料
数据类型
训练目标
通用型语料 中文大杂烩数据集,包含
• 分类话题
• 对话训练
• 数据抽取
• 阅读理解
• 等等 提升模型的
instruction fine
tune泛化能力
行业垂类语料 秒针美妆知识库内容:
• Social帖子(分平台)
• 电商商品描述数据
• 美妆知识分类数据(品
牌,产品,成分,功效
等) 提高模型的行业特
征匹配度
加强 Prompt 理解能力
28. 营销智能AIGC技术:数据
自我指导过程是一种迭代引导算法,它从一组手动编写的指令种子集开始,并使用它们提示语言模型生成新的指令和相应的输
入-输出实例。然后,这些生成结果经过过滤,以去除低质量或类似的结果,并将结果数据添加回任务池中。这个过程可以重复
多次,产生大量的指导数据,可以用来微调语言模型,以更有效地遵循指令。
29. 营销智能AIGC技术:PEFT
传统方法微调预训练模型的所有参数,随着模型大小和任务数量的增长,这种方法变得难以承受。最近的研究提出了各种参数
高效的迁移学习方法,只微调少量的(额外的)参数即可获得强大的性能
30. 营销智能AIGC技术:finetune
如何训练大型和深度神经网络是具有挑战性的,因为它需要大量的GPU内存和长时间的训练周期。然而,单个GPU工作器的内
存是有限的,许多大型模型的尺寸已经超过了单个GPU的容量。有几种并行性范式可以实现跨多个GPU进行模型训练,以及各
种模型架构和内存节省设计,以帮助实现训练非常大型的神经网络的可能性。
31. 营销智能AIGC技术:评估
全面的评估框架+企业内部场景
32. 营销智能AIGC技术:评估
LLM的基本评估任务及相应的代表性数据集
33. AIGC 如何融入企业级产品
•
•
•
必然之路
案例
挑战
34. 新趋势下,企业如何赢?
新时代的人机协同
企业需要具备的能力
在通用大模型的基础上…
ChatGPT | GPT4 | 百度文心 | 腾
讯混元 | 阿里通义 | 书生2.5 |
Moss
模型
…结合行业知识库和企业一方数据进行垂
直行业知识增强,RLHF*和指令微调对
通用大模型fine-tuning
…并具备了解如何最大化利
用AI能力技能的人才
是否清晰地了解模型的能力和限制?怎么低成本
地部署?
•
•
数据和训
练
•
人才
是否已经积累易于AI利用的数据?是否了解如何
Fine-tuning?是否具备能够帮助AI能力落地到企
业的相关供应商?
是否有具备提示工程(Prompt Engineering)
技能的人才以最大化利用AI的能力?
35. 必然之路
ToB应用的场景、上下文、流程都比较复杂,对数据安全和用户隐私也有很高的要求,这些原因决定了ChatGPT等大模型不太
可能淹没ToB应用,反而是作为被集成到ToB应用中的核心AI能力,降低应用开发和运营的成本,显著提升应用的效果。垂直领
域中的行业大模型的训练优化会受益于基于通用大模型的微调
36. 必然之路
明略科技为客户打造类似微软普罗米修斯的数据飞轮,让客户的行业知识和数据与大模型互相助力,提升营销和营运智能
Copilot产品的效果
37. 必然之路
明略利用积累的行业知识和数据,借助各通用大模型以及fine-tuning技术,优化训练垂直领域的行业大模型,在产品中为客户
提供可伸缩的模型即服务(Scalable MaaS)
38. 案例
将大语言模型接入企业微信,联通企业内部知识和能力,探索提升企业效率的空间
39. 案例
本地部署的大语言模型结合企业内数据、文本等多模态的知识形成企业智能助手,将极大的提高企业运转效率
产品
QA
读取数
据
智能接 调用模
口 型
预定会
议
40. 挑战
AIGC(人工智能通用技术)的发展和应用给社会带来了许多挑战。这些挑战需要我们认真对待,制定相应的政策和规定,以确
保AIGC技术的发展和应用能够为社会带来更多的好处,而不是加剧社会问题。
就业和
职业转
型
数据隐
私和安
全
数字鸿
沟
社会伦
理和道
德问题
算法歧
视和不
公平
41.