玩转SD必卷的3大绝技
Satble Diffusion给视觉设计带来了前所未有的可能性和机会，通过图像处理和编辑、设计创意与灵感提供自动化设计流程以及可视化设计和交互体验改善等方面的应用，它为设计师提供了更多选择和工具的同时也改变了设计师的角色和设计流程。然而，设计师与人工智能软件的协作和创新能力仍然是不可或缺的。接下来我将从三个维度来向大家分享stable diffusion在视觉设计方向的技巧应用。
（1）线稿秒变3D场景
在人工智能绘画软件之前，我们如果想将一张线稿设计图转变为一幅3d场景可能需要非常复杂的过程，比如：线稿填色成平面插画，然后根据画面物体的结构在3d软件中进行建模，最终根据配色进行打光渲染等步骤来完成。而现在我们运用stable diffusion甚至数秒的时间就可以完成一系列方案。
关于stable diffusion的使用原理网络上有许多详细的教程，在这里就不向大家赘述。接下来我将向大家分享如何运用SD将midjourney生成的线稿图转变为3d场景。
整个的创作过程在文生图模式下进行创作的，大模型选择的是disneypixarcartoon_v10.safetensors，外挂VAE滤镜为 chilloutmix_Niprunedfp32fix.vae.ckpt；最关键的部分controlnet，前后都选择为canny-边缘检测或者也可以尝试lineart-标准线稿提取（将线稿图上传其中），根据画面添加正反向具体的描述关键词，不断的去调整合适的参数，就可以得到我们想要的效果。
如果最终效果图部分视觉没有达到我们的预期，我们可以结合图生图模式下的局部重绘或者上传重绘蒙版功能，运用重绘蒙板结合关键词进行重新绘制，直达到我们的预期效果为止。当熟悉了整个创作模式后进行批量输出方案时，线稿输出3d画面的效率大大超出我们的想象。
（2）平面卡通IP秒变3D角色
除了上述的线稿转3d场景之外，我们日常的平面IP卡通人物也可以通过stable diffuson秒变3d人物，在实现过程上述的案例有所不同，因为我们需要更加精准的按照我们的平面插画进行3d人物的制作，当然我们更期望最终的3d形象与我们的平面效果完全吻合，因此这里我们不再使用文生图模式，而是采用图生图模式来进行更精准的控制。以一张用midjourney生成的ip卡通平面三视图为例：根据我们卡通人物的特征，添加详细的正反向描述关键词来构建预期效果，重绘幅度数值设置为0.5。另外，在模型的使用上还是有很大区别的，大模型选用了revanimated_v122.safetensors，滤镜是animevae.pt。controlnet采用depth-zoe控制深度；canny或者lineart-anime控制外形线稿的提取；关于lora模型选择了blindbox给予类似于盲盒有趣的3d效果，另外还使用了charturnerv2:0.4这个lora模型用来增强模型的塑料质感，最终就形成了如图的3D角色。
在互联网许多应用领域筛选出符合预期的人物场景图是一个难题，但是自从有了stable diffusion之后，这个难题几乎迎刃而解。通过stable diffusion的图生图模式，配合controlnet的精准控制就非常容易达到我们想要的预期效果。当然在这个过程中，为了避免版权纠纷问题，在使用图生图的底图时尽量选取我们拥有版权的图片，这样在这个基础上做衍生就规避了版权的风险。
比如，现在我想要一张（如下图）同样姿势的工作人员不是站在空调旁边，而是想让他站在微波炉旁边的场景，那么我们可以将原图放在图生图模式下，大模型同样选用relisticv20，滤镜选择animevae.pt。lora模型选择filmvelvia2类似于胶片质感来烘托真实的场景氛围；controlnet运用的是openpose_full用其来控制人物的姿势状态，配合重绘幅度参数的调节以及正反关键词的描述来达到想要的效果。本案例的正反关键词描述如下：
正向关键词：A handsome smiling Chinese repairman is standing under the microwave oven, wearing a green T-shirt. There are some white furniture in the scene, dramatic lighting,
一位面带微笑的中国修理工站在微波炉下，身穿绿色T恤。场景中置放了一些白色的家具，引人注目的灯光。
反向关键词：EasyNegative ,GS-DeMasculate-neg,bhands-neg, lowres Unreasonable view (worst quality:2), (low quality:2),
前3个英文单词是调用的embeddings文件名称，低分辨率的，不合理的视图（最差质量：2），（低质量：2）
另外在真实人物场景的输出过程中，很多时候人物的手部、脸部会出现问题，我们可以通过SD的进阶模型embeddings在一定程度上去修复画面手部的问题，例如调节手部的模型bhands-neg.pt；对于人物脸部扭曲的问题，我们可以运用face editor插件，通过调整参数来使人物的表情更加真实自然。
Stable diffusion除了可以创作上述的3d、真实场景图之外，当然也可以完成创意风格字体的设计。对于创意风格字体我们可以通过文生图的形式，给予sd更多的创作空间可以产出多样风格的字体样式，接下来继续和大家分享如何将白底黑字转变为我们想要的创意风格的创作过程。
以上图冰块文字为案例：整个过程是在文生图模式下进行的，在大模型上需要选择是：realisticVision，滤镜选择的是：VAE模型 vae-ft-mse-840000-ema-pruned.safetensors，如果没有的话可以前往c站去下载。采样方法在这个案例中选择了DPM++ 2M Karras，Controlnet预处理器运用的是lineart（标准线稿提取），模型运用的是lineart。然后在里面导入我们的白底黑字图片，在正反向描述语里描述我们想要的效果，经过多次尝试就会遇到意想不到的惊喜。最后为了更好地提高视觉效果细节，我们可以将最终图片导入到图生图模式下（描述同文生图），Controlnet预处理器选择tile_resample，模型选择control_v11f1e_sd15_tile，经过二次处理后会发现视觉效果更加惊艳细致。当然在这里主要是向大家介绍制作创意风格字体的一个思路，具体的参数和模型大家可以根据具体情况去调节。
以下为本案例使用的关键词：
正向关键词：high quality, masterpiece, ((Transparent ice cubes)), glacier background,
高品质，杰作，（（ 透明的冰块 ）），冰川背景。
反向关键词：EasyNegative, BadArtist, BadPrompt, BadImages, poor anatomical structure, low quality, text errors, extra numbers, fewer numbers, jpeg artifacts, signatures, watermarks, username, blurring, cropped,
前4个英文单词是调用的embeddings文件名称，解剖结构差，低质量，文本错误，多余的数字，缺少的数字，jpeg伪影，签名，水印，用户名，模糊，被裁剪的。
Stable diffusion除了上述应用技巧之外，还有许多强大的功能，比如人像修复、图像融合去噪等等。它拥有着强大的创造力和无与伦比的高效性，使设计师通过它提升生产力成为了必然。在人工智能盛行的时代，我们必须要找准自身与AI的共生关系，不断地思考创新，结合AI的优势进一步提高产品体验。
扫码进群
转载时请连同下方内容一起转发
请与该公众号联系获取内容授权
长按二维码 轻松关注
微信公众号：i58UXD
58同城用户体验设计中心