iPAS 備考專區 登入

iPAS AI 應用規劃師題庫・中級・L21 AI 技術應用與規劃

iPAS 考題解析Attention Collapse(注意力坍縮)的改善方法為何?

來源標記:114年第二梯次中級科目一

你的作答

解析

正確答案:D. 對注意力權重施加稀疏化約束

Attention Collapse 是指注意力權重集中在少數幾個位置,導致模型無法有效利用其他資訊。對注意力權重施加稀疏化約束,可以強制模型分散注意力,避免坍縮。

每個選項為什麼對或錯

  • A 提高 QK 縮放常數 錯誤選項

    提高縮放常數會讓注意力分布更均勻但可能導致梯度問題,不是標準做法

  • B 在注意力權重中加入高斯雜訊 錯誤選項

    加入雜訊是一種正則化(Regularization)手段,但不是解決 Attention Collapse 的主要方法

  • C 用 ReLU 取代 Softmax 錯誤選項

    用 ReLU 取代 Softmax 會失去機率分布的性質,不是實務上的做法

  • D 對注意力權重施加稀疏化約束 正解

答案、題目或解析有問題?回報這題

題目 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。