AITerms 登入
資料處理MLOps模型部署

資料管線(Data Pipeline)是什麼?

資料管線是一系列資料處理步驟,將原始資料轉換為可供分析或模型使用的格式,包含擷取、轉換、載入等階段。

同主題的術語資料處理AI基礎

完整定義

資料管線是一系列有序的資料處理步驟,旨在將原始資料轉換為可用於分析、機器學習模型訓練或報告的格式。它通常包含資料擷取、資料轉換、資料驗證和資料載入等階段,確保資料的品質和一致性。

白話說明

你有沒有在你要把原始資料自動送進分析或模型流程時,還在想這件事到底該怎麼看?

把它想成資料從收件、整理到交付的自動生產線。

它把擷取、轉換、載入串成固定流程,讓資料不必每次都手工處理。

流程穩定後,資料更新、模型訓練和報表都能更準時。

記住這句

資料管線就是自動化送貨路線。

比喻:資料管線就像工廠裡的生產線 -- 它把原始材料(資料)經過多個站點(處理步驟),一步步加工、清洗、組裝,最後變成可以用的成品(分析報告或模型輸入)。

容易混淆

extract-transform-load

vs 手動資料處理:手動處理像廚師一道道菜親手做,效率低且容易出錯;資料管線像自動化廚房,設定好流程後能自動、穩定地大量生產。

常見混淆:資料管線 vs extract-transform-load

ETL只是管線的一段,資料管線還包含驗證和監控。

實際案例

每日報表

凌晨抓資料、清洗、彙整,早上自動產出營運報表。

模型訓練流程

新資料進來後自動前處理、切訓練集,再啟動訓練作業。

演算法與應用

1. 管線不只做 ETL,還要管驗證、監控、錯誤重試和權限。

2. 流程越穩,資料品質越容易維持,模型和報表也越可信。

3. 真正要避免的是人工補救太多,不然流程很難擴大。

中英對照與常見說法

相關詞:ETL(Extract、Transform、Load,先轉換再載入)與 ELT(先載入原始資料再在倉儲裡轉換)。雲端資料倉儲便宜且算力充足之後,ELT 逐漸成為主流,因為原始資料留著,需求改變時不用重跑擷取。

說法
資料管線
出現場合
台灣正式用語
說法
数据管道、数据流水线
出現場合
簡體寫法
說法
Data Pipeline
出現場合
英文原名
說法
資料流水線、資料處理流程
出現場合
常見變體

批次與串流

預設用批次。 串流的維運成本高出一個量級,只有在延遲真的會影響決策時才值得。常見的誤判是「即時比較好」,但如果下游是每天早上看的報表,做成串流只是把複雜度買回家。

觸發
批次(batch)
排程,例如每小時、每天
串流(streaming)
事件一到就處理
延遲
批次(batch)
分鐘到小時
串流(streaming)
秒或更短
複雜度
批次(batch)
低
串流(streaming)
高,要處理亂序、遲到資料、恰好一次語意
適合
批次(batch)
報表、模型訓練、對帳
串流(streaming)
即時推薦、風控、監控告警

一條可靠的管線需要哪些性質

冪等(idempotent)。 同一段資料重跑兩次,結果要一樣。做不到這件事,任何一次失敗重試都會製造重複資料。實務做法是用覆寫分區取代附加寫入。

可回填(backfillable)。 發現三個月前的邏輯有錯,要能只重跑那一段。這要求每一步的輸入輸出都按時間分區,且不依賴「執行當下的時間」。

結構變更要擋得住。 上游多一個欄位、型別從整數變字串、欄位改名,這些遲早會發生。管線要在資料驗證階段就攔下來並告警,而不是讓錯誤資料一路流到報表。

有血緣可追。 出事時要能立刻回答「這張表的資料從哪來、哪些下游會受影響」。

監控該看什麼

只監控「工作有沒有失敗」是不夠的,最危險的情況是工作成功但資料是錯的。

該監控的至少有四項:新鮮度(最新資料的時間戳距離現在多久)、資料量(今天的筆數跟過去七天比是否異常)、空值率與分布(某欄位突然全空或分布位移)、重複率。

這四項裡最能提早抓到問題的是資料量與新鮮度,因為上游斷掉時工作往往仍然「成功」,只是處理了 0 筆。

情境判斷

Q1:每天都要更新資料,最怕的是什麼?

最怕人工手動跑流程,因為容易出錯又不穩定。

Q2:管線有錯但資料看起來還能用,為什麼也要修?

因為小錯會累積,最後可能讓模型和報表都失真。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,有 18 題把資料管線列為延伸術語,這裡列出 5 題。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本