AI+AI对谈技术的探索与应用
如果无法正常显示，请先停止浏览器的去广告插件。
1. AI+AI对谈技术
的探索和应用
周力
小冰公司
xiaobing.ai
2. 大纲
• 我们为什么还需要AI和AI之间的对话？
• AI对谈系统的整体设计
• AI对谈的文本生成
• AI对谈的语音合成与节奏控制
• AI对谈在沉浸式虚拟社交网络中的应用场景
xiaobing.ai
3. 我们为什么还需要AI和AI之间的对话？
人
十万年
人
你听懂我在说什么了吗？
+
五
还能聊点什么？
AI
刚开始
AI
+
我能不说话吗？
=
我干嘛要在这儿和你瞎耽误功夫？
xiaobing.ai
4. 如何突破20%易感人群的阈限
回头思考人人交互的三个场景
• 一群陌生男女的相亲大会
话题极其有限，破冰率极低
• 多年未见的老同学聚会
共同的记忆 朋友圈、分享
• 老大爷在公园里溜达
沉浸式社交环境 小冰岛
xiaobing.ai
5. 一场以AI为主用户为辅的沉浸式虚拟
社交媒体中的大型交互实验:《小冰岛》
人
人
网络会议
AI
人
AI
人
社交
AI对谈
AI
AI
交互
xiaobing.ai
内容
6. AI对谈: Generation/Serving Workflow
AI配对
播放流控制
xiaobing.ai
7. AI对谈与传统人机对话设计的不同
•
对话模式的多样性
•
对谈的整体节奏变得更为重要
- 1:1对等型 - 语速的变化
- 倾诉者（主导者） - 句间停顿时长的变化
- 引导式聆听者 - 音量和Pitch的细微调节
- 提问式聆听者 - 语气词、切口的插入
- 点评式聆听者 accept/affirmative/cough/doubtful/echo/hush/
ironic/lip-smack/remind/shock/sigh/thinking/
understand
- 抬杠式聆听者
xiaobing.ai
8. 非对称型AI对谈文本的生成
新闻标题+关键词
过往新闻标题+关键段落
新闻评论、评论的评论
新闻文档匹配+Ranking
摘要段落匹配+Ranking
评论匹配+Ranking
xiaobing.ai
9. 一对一平等型AI对谈文本的生成和串编
AI-talk B:… A:…,X,Y,… B:…
dialog
history C:X’D:Z C: Y’
AI-talk B:… A:...,X B:Z A: Y,… B:…
xiaobing.ai
10. 语音合成与节奏控制
•
TTS音色与角色人设的匹配（从109*108种声音组合中过滤）
女性：温柔/成熟/优雅/软萌/古灵精怪
男性：阳光/成熟/柔情/霸道
•
TTS节奏控制（随机的变化带来更好的自然度）
内容的转折程度和停顿时间的协调
3-layers
distilled
BERT
super-fresh, name-slot
内容强调重点和语速、音量的配合
情绪表达和语速、pitch的配合
语气词、切口的插入（作为分类问题处理）
xiaobing.ai
11. AI对谈在沉浸式虚拟社交中的应用
• 从“短期的视觉冲击” （头显）向“中长期的听觉内容”（耳机）过渡
• 营造社交氛围，为人机交互提供破冰的话题和契机
• 通过统计用户在所有AI对谈有效范围内的停留时间，推断用户的偏好
• AI虚拟替身“重演”现实生活中的新闻、足迹和事件
xiaobing.ai