iPAS 考題解析Attention Collapse(注意力坍縮)的改善方法為何?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:D. 對注意力權重施加稀疏化約束
Attention Collapse 是指注意力權重集中在少數幾個位置,導致模型無法有效利用其他資訊。對注意力權重施加稀疏化約束,可以強制模型分散注意力,避免坍縮。
每個選項為什麼對或錯
-
A 提高 QK 縮放常數 錯誤選項
提高縮放常數會讓注意力分布更均勻但可能導致梯度問題,不是標準做法
-
B 在注意力權重中加入高斯雜訊 錯誤選項
加入雜訊是一種正則化(Regularization)手段,但不是解決 Attention Collapse 的主要方法
-
C 用 ReLU 取代 Softmax 錯誤選項
用 ReLU 取代 Softmax 會失去機率分布的性質,不是實務上的做法
-
D 對注意力權重施加稀疏化約束 正解
答案、題目或解析有問題?回報這題