完整定義
標註者一致性(Inter-annotator Agreement, IAA)是指多位標註者(annotator)針對同一份資料進行標註後,其標註結果之間的一致程度。它是評估標註品質的重要指標,高一致性表示標註規範清晰、標註者理解一致,反之則可能需要檢討標註規範或加強標註者訓練。
白話說明
同一份資料,不同標註者卻標出不一樣結果,問題到底是資料難,還是規則不清楚?
你可以把它想成看幾位老師批改同一份考卷,分數差很多就代表標準不夠一致。
標註者一致性衡量多位標註者在相同資料上標註結果的相似程度。高一致性代表標註品質良好,反之則可能需要重新評估標註規範。
記住這句
人和人先要看得一樣,資料才有機會乾淨。
比喻:標註者一致性就像一群評審給作品打分數 -- 如果大家對同一件作品的評分很接近,表示評分標準很明確;如果差很多,可能標準不清楚。
容易混淆
模型準確率
一致性在看人標得像不像,不是在看模型答得準不準。
標籤雜訊
標籤雜訊是標錯的結果,一致性低是先看大家標得有沒有共識,兩者常一起出現但不一樣。
實際案例
醫療影像標註
兩位標註者對同一張 X 光的病灶框選差很多,就代表規範太模糊或病灶本來就難定義。
內容審查
若一段文字到底算不算違規,標註者常常分歧,後面就要靠仲裁或重寫規則。
演算法與應用
常見指標有 Cohen's Kappa 和 Fleiss' Kappa。前者多用在兩位標註者,後者適合多位標註者。當一致性偏低時,先修標註指南,再看要不要做仲裁,而不是直接怪模型。
常見問題
一致性在看人標得像不像,不是在看模型答得準不準。
你可以把它想成看幾位老師批改同一份考卷,分數差很多就代表標準不夠一致。
標籤雜訊是標錯的結果,一致性低是先看大家標得有沒有共識,兩者常一起出現但不一樣。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把標註者一致性列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本