完整定義
資料湖(Data Lake)是一種集中式的資料儲存庫,允許以原始格式儲存大量結構化、半結構化和非結構化資料。與傳統資料倉儲不同,資料湖不要求在儲存前預先定義資料結構(Schema-on-Read),因此具有更高的靈活性和可擴展性,能夠容納來自各種來源(如物聯網設備、社群媒體、日誌文件)的原始數據。資料湖適用於探索性資料分析、機器學習模型訓練、即時分析和資料科學專案,為企業提供了更廣泛的數據分析潛力,但同時也需要良好的資料治理策略來維持數據品質和可管理性。
白話說明
你有沒有在你要把各種原始資料先收進同一個地方時,還在想這件事到底該怎麼看?
把它想成一個先存原料、之後再慢慢整理的大水庫。
它可以先接住結構化、半結構化和非結構化資料,後面再決定怎麼用。
對 AI 團隊來說,它很適合保留原始樣貌,方便後續重跑和探索。
記住這句
先收原料,整理可以晚一點。
比喻:資料湖就像一個巨大的水庫 -- 它能把各種形式的水(資料),不論是清澈的溪水(結構化資料)還是混濁的泥水(非結構化資料),都直接收集起來,等你之後需要時再從中提煉使用。
容易混淆
data-warehouse
vs 資料倉儲 (Data Warehouse):資料倉儲像經過濾和處理的瓶裝水,乾淨但只能存放特定格式的水;資料湖像未經處理的原始水庫,什麼水都能存,但要用時需要自己處理。
常見混淆:資料湖 vs data-warehouse
資料湖先存原始資料,資料倉儲先整理後分析。
實際案例
日誌彙整
網站、App、裝置 log 先全部存進去,之後再挑出要分析的部分。
多來源資料倉
客服、交易、感測器資料先匯入,再依需求做清理或轉換。
演算法與應用
1. 資料湖重點是保留原始資料,不先把格式固定死。
2. 沒有治理的資料湖很快會變成資料沼澤,所以目錄、權限和血緣都要做好。
3. 它適合探索和機器學習,但分析查詢通常還是要做整理。
情境判斷
Q1:如果你現在還不知道資料之後會怎麼用,先放哪裡比較彈性?
資料湖通常比較適合,因為它能先收原始資料。
Q2:資料湖是不是只要便宜就好?
不是,沒有治理的資料湖會讓資料難找、難懂,也難信任。
常見問題
資料湖的資料治理包含資料品質管理、資料沿襲追蹤、資料安全控制、資料目錄管理以及資料生命週期管理等多個方面。目的是確保資料的準確性、一致性、可追溯性和安全性,從而提高資料的價值。
資料湖的安全性可以通過多種方式來保障,包括存取控制、資料加密、身份驗證、授權以及安全監控。重要的是實施分層安全模型,以保護資料免受未經授權的存取和惡意攻擊。
資料湖的成本效益主要體現在使用低成本的儲存技術(例如雲端物件儲存)、減少資料轉換的需求以及提高資料利用率等方面。透過儲存原始資料,企業可以避免不必要的資料轉換和複製,從而降低儲存和處理成本。
出現在這些考古題
官方公告試題的逐題解析裡,這 4 題把資料湖列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本