完整定義
狀態空間模型是一種用於描述動態系統的數學模型。它使用一組狀態變數來表示系統的內部狀態,並使用狀態方程和觀測方程來描述系統的演變。狀態空間模型廣泛應用於控制工程、時間序列分析、訊號處理和機器學習等領域。
白話說明
你有沒有看過時間一直往前走,但真正要追的是看不見的內部狀態?
你可以把它想成用隱藏狀態描述系統變化。
狀態空間模型 的重點是 狀態空間模型是一種數學模型,用於描述系統隨時間演變的狀態。它包含狀態方程和觀測方程,廣泛應用於控制、預測和訊號處理。
它重要,是因為它能處理時間序列、控制和追蹤問題。
記住這句
先估內部狀態,再看觀測值。
比喻:狀態空間模型就像一位精密的工程師,用數學公式來追蹤一個火箭的飛行軌跡和速度 -- 它不是只看火箭現在的位置,而是同時考慮它的速度、加速度等「內部狀態」,然後用數學公式來預測火箭接下來會怎麼動,即使我們不能直接看到所有內部狀態,也能推算出來。
容易混淆
狀態空間模型 vs 差分整合移動平均
狀態空間模型:偏向 用隱藏狀態描述變化
差分整合移動平均:偏向 傳統時間序列模型
最關鍵的區別:狀態空間模型看的是「用隱藏狀態描述變化」,差分整合移動平均看的是「傳統時間序列模型」。
狀態空間模型 vs 馬可夫決策過程
狀態空間模型:偏向 用隱藏狀態描述變化
馬可夫決策過程:偏向 描述決策流程的數學框架
最關鍵的區別:狀態空間模型看的是「用隱藏狀態描述變化」,馬可夫決策過程看的是「描述決策流程的數學框架」。
實際案例
案例:追蹤溫度或機械位置
先估內部狀態,再對照觀測數據修正
案例:分析經濟或感測序列
外部資料會吵,但內部狀態能幫你看趨勢
演算法與應用
把看不見的狀態當成核心
用狀態方程描述變化,用觀測方程連到資料
適合時間序列、控制與追蹤
SSM 在做什麼
狀態空間模型的核心是一個隱藏狀態 h,它隨時間更新,把過去看過的所有東西壓縮進一個固定大小的向量裡。
連續形式寫成兩條式子:
h'(t) = A·h(t) + B·x(t) (狀態怎麼更新)
y(t) = C·h(t) + D·x(t) (從狀態算出輸出)
A 決定舊資訊怎麼衰減與混合,B 決定新輸入怎麼寫進狀態,C 決定怎麼從狀態讀出答案。實作時會先離散化成一步一步的遞迴。
關鍵性質是:狀態大小固定,不會因為序列變長而變大。所以處理長序列時記憶體不會爆炸,這正是它最近重新受到重視的原因。
為什麼在 Transformer 之後又紅起來
這張表解釋了整條發展線。早期 SSM 的問題是訓練難以平行,而且狀態是固定的線性系統,沒辦法針對不同輸入調整要記住什麼。
S4 這一代用結構化的 A 矩陣解決了長距離記憶與計算效率的問題。Mamba 這一代進一步讓 A、B、C 隨輸入變化,也就是所謂的選擇性(selective)機制,模型因此能決定「這個 token 值得記住」或「這個可以忘掉」,同時搭配硬體友善的掃描演算法維持訓練速度。
現在的實務走向不是二選一,而是混合:多數長上下文模型把少量注意力層跟大量 SSM 層交錯排列,用注意力負責需要精準回查的部分,用 SSM 負責長距離的低成本記憶。
- 項目
- 序列長度成本
- Transformer 的注意力
- 與長度成平方
- SSM
- 與長度成線性
- 項目
- 推論時的記憶體
- Transformer 的注意力
- 隨已生成長度線性增長(KV cache)
- SSM
- 固定大小
- 項目
- 平行訓練
- Transformer 的注意力
- 天生可平行
- SSM
- 需要特殊設計才能平行
- 項目
- 抓長距離依賴
- Transformer 的注意力
- 直接查表,很強
- SSM
- 靠狀態壓縮,較難精準回頭找特定內容
情境判斷
Q1(直覺題): 溫度資料一直上下跳,還能做預測嗎?
可以,狀態空間模型會把噪聲和內部狀態分開看。
Q2(判斷題): 如果系統是高度非線性的,這種方法還有用嗎?
看情況,非線性時通常要改用近似或擴展方法,模型會更複雜。
常見問題
當資料有明顯時間順序,而且你想描述系統怎麼隨時間變化時,就很有用。
它們都能處理序列,但狀態空間模型更強調可解釋的動態結構。
不是,非線性時可以改用擴展或近似方法,只是建模和估計會更複雜。
Mamba 是建立在狀態空間模型上的序列模型架構。它的關鍵改動是讓狀態空間的參數隨輸入改變,論文稱為選擇性機制,模型因此能依目前的 token 決定要保留或遺忘哪些資訊,同時讓計算量隨序列長度線性成長,被拿來當成 Transformer 以外的長序列骨幹。
轉移函數只描述輸入到輸出的關係,常用在線性非時變、單輸入單輸出系統的頻域分析。狀態空間模型則明確寫出系統內部的狀態變數,可以處理多輸入多輸出與時變系統,也方便搭配卡爾曼濾波做估計。同一個線性系統可以在兩種表示法之間轉換,但狀態變數的選法不唯一。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本