Building Pinterest Canvas, a text-to-image foundation model

Building Pinterest Canvas, a text-to-image foundation model

摘要

Pinterest Canvas是一种文本到图像的模型，用于增强Pinterest平台上的现有图像和产品。它通过训练基础文本到图像模型，然后进行微调生成可视化产品的真实背景。模型经过两个阶段的训练，第一阶段训练模型填充缺失的图像区域，第二阶段专注于产品的可视化任务。模型还支持个性化结果，通过附加样式上下文来指导生成过程。Pinterest Canvas的未来改进包括升级底层的扩散骨干模型，进一步提高生成质量，并与用户进行反馈交流。此外，团队还在研究如何重新思考模型条件约束，并探索使用Pinterest优化的视觉嵌入来改进模型的文本条件组件。