多模态自动布局技术发展及其在淘内内容场的应用

多模态自动布局技术发展及其在淘内内容场的应用

摘要

淘宝通过AIGC技术在手淘全流程中实现了内容生成的规模化应用，尤其在视频和图文生成方面取得突破。多模态自动布局技术结合计算机视觉与自然语言处理，自动化生成海报布局，显著提升设计效率。技术路线分为基于图像生成和基于坐标预测两种，后者通过LLM或diffusion模型直接预测布局坐标，优化了生成流程。该技术已广泛应用于营销图和视频封面生成，未来将探索多图布局、个性化风格及结合人工反馈的优化方向。