知识密度：迈向 AGI 的关键技术实践
如果无法正常显示，请先停止浏览器的去广告插件。
1. 曾国洋
2.
3.
4. 面壁智能：端侧大模型
5.
6. 主要内容
• 大模型技术发展历史趋势 • ：了解大模型技术趋势，提前布局应用
• 大模型前沿技术与实践 • ：掌握行业应用发展规律，辅助长期研判
• 大模型未来发展格局的预测 • ：交换认知收获灵感，推动 AGI 早日到来
7. 开源大模型利好大模型应用落地
DS 出圈将智能的需求植入到广大消费者的心中，
没有智能的产品会落后于时代，跟不上趋势将会被洗牌。
8. 大模型正在改变工作模式
+ LLM
+ LLM
+ LLM
9. 大模型技术发展历程
大模型的技术迭代在优化什么？
10. 大模型技术发展历程
价格
效果
= 模型知识密度不断提升
•
密度越高的模型
技术越先进
•
•
11. 大模型技术迭代的刻度尺
12. 知识密度是什么
知识密度 =
模型效果
推理价格
如何评估模型知识密度？
13. 知识密度的定量计算
知识密度 =
等效参考模型规模
实际模型运算规模
•
•
•
Densing Law of LLMs：大模型的知识密度法则
14. 大模型知识密度发展规律
•
•
15. 密度规律在各行各业普遍存在
16. 知识密度的尽头在哪
17. 知识密度的上限
•
•
•
18. 如何提升知识密度上限
•
•
19. 如何提升知识密度上限
20. 如何提升知识密度上限
21. 如何提升知识密度上限
22. 合成数据之间亦有差别
•
•
23. 数据本身的信息量不同
0 1 2 3
0 1 2 3
0 0 1 2 3
0 3 2 0 0
1 1 0 3 2 1 3 1 3 1
2 2 3 0 1 2 1 3 0 2
3 3 2 1 0 3 2 2 1 0
24. 通向更高知识密度的路径
25. 更容易学习的数据
•
•
•
•
•
•
•
•
26. 更容易学习的数据
0
0
1
0
0
1
2
1
1
2
3
2
2
3
3
3
0
1
2
3
0
3
2 0
0 1
0 2
3
0
3
2 0
0 1
0 2
3
0
3
2
0
0
0
3
2
0
0
0 3
3 1
2 3
0 1
0
1
0
3
2
0
0
1
3 0
1 3
3 2
1 0
0
1
3
1
3
1
1
3
1
3
1
1
3
1
3
1
2
1 1
3 3
0 1
2 3
1
2
1 1
3 3
0 1
2 3
1
2
1
3
0
2
2
1
3
0
2
2
1
3
0
2
3
2 2
2 1
1 3
0 0
2
3
2 2
2 1
1 3
0 0
2
3
2
2
1
0
3
2
2
1
0
3
2
2
1
0
3
2
2
1
0
3
2
2
1
0
27. 更容易学习的数据
•
•
28. 模型规模与思维链的猜想
•
•
•
•
29. 如何获取思维链
•
•
30. 利用思维链提升知识密度
31. 通向更高知识密度的路径
32. 总体判断：不要高估短期技术发展，不要低估长期应用价值
•
•
•
•
•
•
33. 技术趋势：知识密度之外还需要攻克的挑战
34. 应用落地：面向未来模型能力布局
•
•
•
35.
36.
37. 大模型正在重新定义软件
Large Language Model Is Redefining The Software