面向 AIGC 的内容风控新技术

面向 AIGC 的内容风控新技术

摘要

大模型和人工智能生成（AIGC）等先进技术的发展为我们带来了许多新的应用红利，但与此同时也带来了一系列安全隐患。例如，文本问答技术可能生成负面回答内容，文本生成图片技术可以用于合成各种类型的不适合在公开场合传播的敏感图片。为了缓解这些安全问题，首先模型本身需要在训练过程中进行面向安全领域的内在技术调整，以通过基础的风险评测，达到基本安全可用。除此之外，为了进一步提升实际应用的可控性和完善安全流程，引入独立的第三方内容检测能力作为安全护盾是至关重要的。在新技术推广应用的过程中，这种独立的检测机制能够提供的额外保障，确保生成的内容符合道德、法律和社会准则。这种独立的第三方检测能力可以辅助模型本身的安全调整，有效减少潜在风险，形成一个有机的双重保障系统。