iPAS 備考專區 登入

iPAS AI 應用規劃師題庫・中級・L21 AI 技術應用與規劃

iPAS 考題解析TF-IDF 在處理長文本時的主要問題為何?

來源標記:114年第二梯次中級科目一

你的作答

解析

正確答案:A. 詞頻偏高導致常見詞權重過大

長文本中,某些常見詞(如「的」、「是」)出現次數很多,TF(詞頻)會偏高,導致這些不太重要的詞反而獲得過大的權重,影響分析結果。

每個選項為什麼對或錯

  • A 詞頻偏高導致常見詞權重過大 正解

    Correct: 在長文本中,一些常見但語義價值不高的詞(如「的」、「是」、「一個」)會因為出現次數多而有很高的詞頻(TF),即使 IDF 較低,整體 TF-IDF 權重仍可能過大,影響對關鍵詞的識別。

  • B 缺乏句子邊界識別能力 錯誤選項

    Incorrect: TF-IDF 是一種基於詞袋模型(Bag-of-Words)的統計方法,它關注的是詞的頻率和重要性,本身就不具備句子邊界識別能力,這不是它在處理長文本時的「主要問題」,而是其設計範疇。

  • C 無法同時處理多份文件 錯誤選項

    Incorrect: 恰好相反,TF-IDF 的 IDF 部分(逆文件頻率)就是為了衡量一個詞在「多份文件」中的稀有程度。它正是設計來處理和比較多份文件的。

  • D IDF 計算方式會因文本長度而改變 錯誤選項

    Incorrect: IDF(逆文件頻率)的計算是基於詞在整個文件集合中出現的文件數量,而不是單篇文本的長度。單篇文本的長度只會影響 TF(詞頻)的計算。

答案、題目或解析有問題?回報這題

題目 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。