完整定義
語料庫是指大量結構化的文本集合,通常以電子形式存在。語料庫的設計目的是提供真實語言使用的範例,用於語言研究、自然語言處理和機器學習等領域。語料庫的規模、內容和結構會根據不同的應用而有所不同。
白話說明
你有沒有想過,AI 學語言時到底是從哪裡看懂句子?
你可以把語料庫想成「給模型讀的超大閱讀材料」:它不是隨便一堆文字,而是整理過、可以拿來分析和訓練的文本集合。
它很重要,因為模型不可能憑空學語言,語料庫就是讓它理解詞彙、句子和語境的基礎土壤。
記住這句
文字有整理、有標註,才比較像語料庫。
比喻:語料庫就像一本巨大的百科全書,裡面收錄了各種真實的語言範例 -- 從新聞報導、小說到網路對話,應有盡有。AI 模型就是從這本「書」裡面學習人類語言的文法、詞彙和用法,就像小孩子透過聽大人說話來學習一樣。
容易混淆
語料庫 vs 一般文本檔 vs 資料集
語料庫:為語言研究或 NLP 特別整理過的文本集合
一般文本檔:只是文字檔,不一定有標註或結構
資料集:更廣義,任何可供模型使用的資料都算
最關鍵的區別:語料庫是為語言分析而整理的文本資源。
實際案例
訓練中文模型
前:只用隨手抓來的網頁文字,品質不穩定
後:整理新聞、百科、對話和專業文本,形成可用語料庫
語言研究
前:研究者只能憑感覺討論語言現象
後:透過標註過的語料庫,統計詞性、句法和用法分布
深入了解
語料庫常會加入詞性標註、句法標註、語意標註或說話者資訊,讓文本不只是「可讀」,還能「可分析」
它常用在自然語言處理、文本分類、語言模型訓練和語言學研究
好的語料庫不只看量,更看代表性、乾淨度和標註一致性
情境判斷
Q1(直覺題): 一堆沒整理的聊天記錄,能直接算語料庫嗎?
不一定,通常還要看有沒有結構、清理和標註。
Q2(判斷題): 語料庫越大就一定越好嗎?
不一定,若品質差、領域不對或標註亂掉,量大也不會有效。
常見問題
很接近,但語料庫更強調文本整理和語言用途。
不一定,但有標註通常更方便研究和訓練。
當然需要,而且中文分詞、斷句和語境都很依賴高品質語料。
沒有關係。corpus 在拉丁文是「身體、主體」的意思,醫學上的 corpus callosum 是胼胝體,corpus luteum 是黃體。語言學與自然語言處理說的 corpus 指文本集合,中文譯為語料庫,複數寫作 corpora。
語料庫語言學以大量真實語料當證據來研究語言,例如統計詞頻、觀察詞語搭配、比較不同文類或年代的用法差異。常用的方法有詞語索引(concordance)與搭配詞分析,研究成果也會用在辭典編纂與華語教學。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把語料庫列為延伸術語。
相關術語
- 自然語言處理Natural Language Processing語料庫是它的基礎資源之一
- 語言模型Language Model理解語料庫,才能理解模型從哪裡學語言
- 文本分類Text Classification很多分類模型都要靠語料庫訓練
- 分詞Tokenization語料庫常會先經過這一步處理
- 嵌入表示Embedding把語料庫轉成模型可用表示時常會用到
- 資料標註Data Annotation
- 偽平行語料庫Pseudo-Parallel Corpus
- N元語法N-gram
本頁內容有提到,或屬於同一組主題的術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本