前言

由于chatgpt对互联网的冲击，AIGC的热度在过去几个月一直居高不下，众多领域对相关的AI应用也进行了一系列实质性的探索。
信也科技信息安全团队今年上半年就“chatgpt将如何影响信息安全”进行了相关的课题研究，分享如下，欢迎交流指正。

一、安全领域应用

1.个人助手

1.1 安全培训：考题、海报等知识类内容

验证结果：完全胜任。经过实验验证，gpt3.0以上已可在人为要求下获得接近预期的知识类内容，可应对常规安全知识类场景，节约相应工作人力。

1.2 攻防演练SOP

例1：

例2：

验证结果：经实验验证，chatgpt可对模拟攻防过程提供完成的验证环境指导及攻击响应流程，对可识别的攻击类型验证正确率100%，后续将持续深入探索。

1.3 模型-数据预处理

痛点：安全ELK的异常行为分析，每当接入新数据源时，需要人工进行大量数据预处理工作。
chatgpt是否可以代替人工进行自主判断，对模型数据进行预处理？
处理内容举例：

验证过程：

例1：

例2：

验证结果：
优势：只要提需合理，可以减少代码的开发时间，返回的结果符合预期。
劣势：需要提前进行数据脱敏；需要提供详细的字段内容，智能化字段扩展有待提高；接口处理大量数据的费用成本问题。

1.4 模型-结果调优

痛点：现有安全UEBA模型中存在一定的误报率，模型判断结果需要人工进行二次判断及筛选。
chatgpt是否可以更精确地得出模型结果/对已有模型结果进行二次筛选？
调优提问举例：以下是一个用户的操作记录，请问这个用户存在异常操作吗？

例1：

验证结果：无法胜任。从各个角度方法使用chatgpt进行模型结果调优，均存在问题或者瓶颈限制，可用性不强。

2.自动化集成

2.1 安全检测-流量分析

chatgpt是否可以代替现有waf、ids等网络安全防御设备的策略型拦截，拥有更智能的攻击流量判定？

验证结果：经功能性实验，chatgpt对攻击流量的发现率100%，误报率25%；数据包中存在迷惑的地址名，chatgpt会判定为可能存在攻击行为，但是让其只能输出是否的回答时，判断为“是”；流量分析结果只能作为辅助，离直接自动化分析决策有较大差距,且存在成本问题。

2.2 日志审计-高危命令识别

痛点：现有堡垒机审计功能（天启），暂无法对操作对象进行识别，导致风险识别依赖人工判断。
chatgpt对现有堡垒机日志审计机制是否有提升？

• chatgpt通过匹配异常操作命令进行风险识别，与天启现有的匹配规则相同。
• 可同时对操作对象是否是系统文件进行识别（例如mv /etc/hosts xxxxx ），从而对天启的匹配结果进行优化，误报率降低约20%。
• chatgpt提供安全风险识别，后续仍然需要人工判断。

验证结果：基本胜任。有效降低日志审计误报率，可考虑集成至天启对匹配识别的前后流程进行功能优化。但需解决脱敏问题。

2.3 0Day响应

chatgpt如何提升0Day漏洞的响应效率？

例1：

• 主流框架型漏洞验证：产出排查脚本识别率及正确率100%  ；按历史经验，0day响应时间至少缩短1天以上；
• 仍需一定的人工确认流程。

验证结果：基本胜任，落地方案将持续探索推进。

2.4 安全评审

chatgpt能否替代人工进行需求文档安全评审？

例1：

• 经安全团队内部评估，chatgpt安全评审内容基本达到3~4年经验安全人员的能力水平，由PRD描述问题导致的误判可人为进行忽略。
• 可作为常规需求的安全评估自动化参考意见，集成至现有devops体系。辅助开发人员进行方案设计。
• 上传内容需要进行脱敏

验证结果：基本胜任

二、大语言模型的安全隐患

Github copilot安全性验证

使用智能编程插件是否会导致代码信息泄露？
（1）开通时用户选择是否授权使用代码片段，经测试，是否勾选不影响后续验证结果

（2）在使用copilot的过程中，对上行网络数据进行监听，发现部分数据包在SSL加密下进行了二次报文加密，内容未知。据官网介绍，该部分为客户端环境监控类内容，受实验时间限制，未还原该内容原文。

（3）使用copilot对当前代码文件进行编辑，对上行网络数据进行监听，发现其在SSL协议下明文传输了当前代码页的部分上下文内容。

• 无论是否勾选“授权使用代码片段”，均存在该问题
• 上传代码部分具有一定随机性，但均发生在当前代码文件，未出现跨文件上传情况
• 风险点：存在代码泄露风险，如key、password、内网IP、核心逻辑等信息泄露。

验证结果：禁止对涉及敏感信息的业务系统代码使用智能编程类插件；具有使用需求的实验性开发项目，须在独立隔离环境中进行。

总结&展望

总结

chatgpt安全展望

• Fine tune专业领域能力持续加强
• 前置脱敏功能及相关客户端验证确认流程
• 对流量型数据的连续性分析支持
• 提高三方合作软件的安全机制
• 对AI自主访问外部接口的限制机制
• 企业级使用方案

作者简介

非尘，信也科技信息安全专家

招聘信息