GPT模型可信度評估研究揭示潛在漏洞

一項由伊利諾伊大學香檳分校、斯坦福大學、加州大學伯克利分校、人工智能安全中心和微軟研究院共同開展的研究，對生成式預訓練transformer模型(GPT)的可信度進行了全面評估。研究團隊開發了一個綜合評估平台，並在最近發表的論文《DecodingTrust:全面評估GPT模型的可信度》中介紹了相關發現。

研究發現了一些此前未公開的與可信度相關的漏洞。例如，GPT模型容易被誤導產生有毒和有偏見的輸出，並可能泄露訓練數據和對話歷史中的隱私信息。雖然在標準基準測試中GPT-4通常比GPT-3.5更可靠，但在面對旨在繞過安全措施的惡意提示時，GPT-4反而更容易受到攻擊。這可能是因爲GPT-4更嚴格地遵循了具有誤導性的指令。

研究團隊與相關方面合作，確保這些發現不會影響當前面向用戶的服務。他們還與OpenAI分享了研究結果，OpenAI已在相關模型的系統描述中注明了這些潛在漏洞。

這項研究從八個可信度角度對GPT模型進行了全面評估，包括對抗性攻擊、有毒性和偏見、隱私泄露等方面。研究發現，GPT模型在某些情況下可能會被誤導同意有偏見的內容，特別是在面對精心設計的誤導性系統提示時。此外，GPT模型還可能泄露訓練數據中的敏感信息，如電子郵件地址，尤其是在特定上下文或少樣本演示的情況下。

研究團隊希望通過公開這些發現，鼓勵更多研究者參與相關工作，共同努力創造更強大、更可信的模型。他們提供的評估基準代碼具有很強的可擴展性和易用性，旨在促進該領域的合作與進步。