GPT模型可信度评估研究揭示潜在漏洞

一项由伊利诺伊大学香槟分校、斯坦福大学、加州大学伯克利分校、人工智能安全中心和微软研究院共同开展的研究，对生成式预训练transformer模型(GPT)的可信度进行了全面评估。研究团队开发了一个综合评估平台，并在最近发表的论文《DecodingTrust:全面评估GPT模型的可信度》中介绍了相关发现。

研究发现了一些此前未公开的与可信度相关的漏洞。例如，GPT模型容易被误导产生有毒和有偏见的输出，并可能泄露训练数据和对话历史中的隐私信息。虽然在标准基准测试中GPT-4通常比GPT-3.5更可靠，但在面对旨在绕过安全措施的恶意提示时，GPT-4反而更容易受到攻击。这可能是因为GPT-4更严格地遵循了具有误导性的指令。

研究团队与相关方面合作，确保这些发现不会影响当前面向用户的服务。他们还与OpenAI分享了研究结果，OpenAI已在相关模型的系统描述中注明了这些潜在漏洞。

这项研究从八个可信度角度对GPT模型进行了全面评估，包括对抗性攻击、有毒性和偏见、隐私泄露等方面。研究发现，GPT模型在某些情况下可能会被误导同意有偏见的内容，特别是在面对精心设计的误导性系统提示时。此外，GPT模型还可能泄露训练数据中的敏感信息，如电子邮件地址，尤其是在特定上下文或少样本演示的情况下。

研究团队希望通过公开这些发现，鼓励更多研究者参与相关工作，共同努力创造更强大、更可信的模型。他们提供的评估基准代码具有很强的可扩展性和易用性，旨在促进该领域的合作与进步。