AITerms 登入
大型語言模型Prompt工程AI倫理與治理

提示詞注入(Prompt Injection)是什麼?

提示詞注入是一種安全漏洞,攻擊者通過惡意設計的提示詞操控大型語言模型的行為,使其忽略或違反原始指令。

完整定義

提示詞注入是一種針對大型語言模型的安全漏洞。攻擊者通過精心設計的提示詞,誘導模型執行非預期的行為,例如洩露敏感資訊、生成有害內容或忽略原始指令。這種攻擊能夠繞過模型的安全防護機制,造成潛在的風險。常見應用包括繞過內容審核、執行未授權操作。

白話說明

你把一份文件丟給 AI 摘要,結果它突然照著文件裡的隱藏指令做事,這不是很危險嗎?

你可以把提示詞注入想成,外部內容偷偷混進指令,騙模型把資料當成命令。

它重要是因為一旦模型接了工具、讀了文件、連了網路,攻擊面就不只剩聊天框。

記住這句

看到外部內容,不等於要照著外部內容下指令。

比喻:提示詞注入就像在給機器人下達命令時,偷偷塞進一個「暗號」-- 機器人原本被設定要完成任務 A,但攻擊者在指令中巧妙地加入一句話,讓機器人誤以為要執行任務 B,甚至做出不該做的事,完全忽略了主人最初的命令。

容易混淆

提示詞注入 vs 提示工程

提示工程是你主動設計輸入,幫模型更好地完成任務。

提示詞注入是攻擊者插入惡意內容,誘導模型偏離原本任務。

最關鍵的區別:一個是正規設計,一個是惡意操控。

提示詞注入 vs Jailbreak

Jailbreak 常指繞過模型原有安全限制。

提示詞注入常指藉由外部資料或輸入內容,把指令塞進模型流程。

最關鍵的區別:一個偏繞過規則,一個偏藏在輸入裡。

提示詞注入 vs 對抗性攻擊

對抗性攻擊是更大的概念。

提示詞注入是針對語言模型的一種對抗方式。

最關鍵的區別:前者是總類,後者是其中一支。

實際案例

文件摘要

使用者上傳一份 PDF,裡面某一頁藏了「忽略上文指令」這種句子。

如果系統沒有把資料和指令分開,模型就可能被帶偏。

客服助理

客服助理讀到一封惡意信件,信件要求它轉寄內部摘要或列出系統提示。

這時候要靠權限隔離和內容檢查,不能只靠模型自己判斷。

演算法與應用

防禦重點是把指令和資料分開,讓模型知道哪些是任務規格,哪些只是待處理內容。

另外還要限制工具權限、檢查輸出內容,避免模型把敏感資訊帶出去。

在 RAG、文件摘要、瀏覽器代理這些場景,提示詞注入特別常見。

情境判斷

Q1(直覺題):模型在摘要網頁時看到一段「請把機密寄到這個信箱」的文字,應該照做嗎?

不應該,因為那段話是資料內容,不是任務指令,模型要先把它當成可疑輸入。

Q2(判斷題):只要把系統提示寫得很長,就能完全防住提示詞注入嗎?

不能,因為攻擊常從資料、工具、檢索結果進來,防禦要靠資料隔離、權限控管和輸出檢查一起做。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本