完整定義
超級對齊是指確保超級智能AI系統的目標、價值觀和行為與人類的意圖和利益對齊。由於超級智能AI的能力遠超人類,一旦其目標與人類不一致,可能導致難以預測甚至災難性的後果。超級對齊旨在解決這個潛在的控制問題,確保AI系統始終服務於人類。
白話說明
你有沒有想過,模型越強,越需要先管住方向?
你可以把它想成先替超強模型設好目標和邊界。
超級對齊 的重點是 超級對齊旨在確保遠超人類智慧的AI系統,其目標與人類價值觀對齊,避免潛在的失控風險。
它重要,是因為能力不等於可靠,安全和對齊做不好,部署風險會很高。
記住這句
不是只看會不會答,還要看會不會跑偏。
比喻:超級對齊就像教一個潛力無限的超級天才 -- 我們不只教他知識,更要確保他理解並認同人類的道德和價值觀,以免他將來能力太強大卻做出傷害人類的事。
容易混淆
超級對齊 vs 通用人工智慧
超級對齊:偏向 把模型能力拉回可控範圍
通用人工智慧:偏向 更大的目標形態
最關鍵的區別:超級對齊看的是「把模型能力拉回可控範圍」,通用人工智慧看的是「更大的目標形態」。
超級對齊 vs 人工智慧安全
超級對齊:偏向 把模型能力拉回可控範圍
人工智慧安全:偏向 AI 安全的基礎概念
最關鍵的區別:超級對齊看的是「把模型能力拉回可控範圍」,人工智慧安全看的是「AI 安全的基礎概念」。
實際案例
案例:前沿模型上線前先做安全評測
先測偏差、風險和失控情況,再談正式部署
案例:公司想訂出使用邊界
先定規則,比事後補救更有效
深入了解
先看模型會不會偏離人類意圖
治理、評測和紅隊測試要一起做
不是把模型變弱,而是把模型變可控
情境判斷
Q1(直覺題): 模型只要答對問題,就代表安全嗎?
不代表,還要看它會不會越界、幻覺或被誘導做錯事。
Q2(判斷題): 如果產品只是內部測試,就可以先不做對齊嗎?
看情況,但只要會接觸敏感資料或真實使用者,基本安全檢查就不能省。
常見問題
先看模型會不會做出偏離目標、違反規範或造成風險的行為。
不一定,能力提升有時也會放大風險,所以要同步做治理與對齊。
因為前沿模型一旦上線,修正成本和風險都會遠高於事前設計。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本