基于LLM打造沉浸式3D世界

基于 LLM 打造沉浸式 3D 世界

摘要

阿里云DataV团队在虚幻引擎中结合通义千问大模型，打造了基于LLM的实时可交互3D世界方案。通过自然语言，用户可搜索、创建和操作3D模型，实现场景理解与编辑。团队利用视觉-语言模型生成3D模型的自然语言描述，并通过大模型的RAG能力快速搜索模型。此外，通过FunctionCall将LLM指令转化为Unreal引擎中的实际操作，实现了对话式的3D世界交互。