完整定義
長短期記憶網路(LSTM)是一種特殊的循環神經網路(RNN)架構,用於處理和預測序列資料。它能夠有效地捕捉長期依賴關係,克服傳統 RNN 在處理長序列時的梯度消失問題。LSTM 透過記憶單元和閘門機制(輸入閘、遺忘閘、輸出閘)來控制資訊的流動,使其能夠選擇性地記住或遺忘過去的資訊。
白話說明
你有沒有遇過模型讀到很長的句子,前面講過的重點後面就忘了?
你可以把 LSTM 想成,有一個可控的記憶盒子,會決定什麼該留下、什麼該丟掉。
它其實就是為了記住長距離依賴而設計的循環神經網路。
在語音、時間序列和長文本裡,它曾經是很重要的主力模型。
記住這句
想記很久,就要有門幫忙選記憶。
比喻:LSTM 就像一個有「記憶管理員」的學生 -- 他在學習長篇課文時,不會像普通學生那樣讀到後面就忘了前面,而是會聰明地決定哪些舊知識要記住、哪些要忘記、哪些新知識要吸收,確保能理解整篇文章的脈絡。
容易混淆
LSTM vs 一般循環神經網路
一般 RNN 容易忘記遠處資訊,LSTM 用門控機制把記憶保住。
一個記性短,一個記性長。
LSTM vs Transformer
LSTM 靠序列一步步傳遞,Transformer 靠注意力一次看全局。
一個慢慢傳話,一個直接看重點。
最關鍵的區別: 差別在記憶保留方式和看全局的能力。
實際案例
語音辨識
語音前後文會影響字詞判斷,LSTM 過去常被用來吃長序列聲學特徵。
時間序列預測
像電力、銷量或股價這種連續時間資料,LSTM 能保留前面狀態對後面的影響。
演算法與應用
LSTM 透過輸入門、遺忘門和輸出門控制資訊流,讓重要訊息留下來。
它比傳統 RNN 更能處理長距離依賴,但訓練和推論成本也比較高。
現在很多場景會改用 Transformer,但理解 LSTM 仍然很重要。
三個閘門各自在做什麼
LSTM 之所以能記住長距離的資訊,靠的是一條貫穿時間的細胞狀態(cell state)加上三個閘門。閘門的輸出都是 0 到 1 之間的數字,用乘法決定資訊通過多少。
更新的順序是:先用遺忘閘決定丟掉什麼,再用輸入閘決定寫入什麼,兩者相加得到新的細胞狀態,最後用輸出閘決定對外呈現多少。
關鍵在細胞狀態這條路徑上主要是加法與逐元素乘法,沒有反覆的矩陣相乘。反向傳播時梯度沿著這條路傳遞不會快速衰減,這就是它解決梯度消失的方式,跟 ResNet 的捷徑連接是同一個道理。
- 閘門
- 遺忘閘
- 英文
- forget gate
- 決定什麼
- 舊的細胞狀態要保留多少
- 閘門
- 輸入閘
- 英文
- input gate
- 決定什麼
- 新的候選資訊要寫入多少
- 閘門
- 輸出閘
- 英文
- output gate
- 決定什麼
- 細胞狀態要輸出多少給下一層
LSTM、GRU、RNN 怎麼選
GRU 把遺忘閘與輸入閘合併成更新閘,並拿掉獨立的細胞狀態。參數較少、訓練較快,多數任務上表現與 LSTM 相當。實務建議是先試 GRU,資料量大且序列很長時再試 LSTM 看有沒有差別。
- 項目
- 閘門數
- 簡單 RNN
- 0
- LSTM
- 3
- GRU
- 2
- 項目
- 狀態
- 簡單 RNN
- 1 個隱藏狀態
- LSTM
- 隱藏狀態加細胞狀態
- GRU
- 只有隱藏狀態
- 項目
- 參數量
- 簡單 RNN
- 最少
- LSTM
- 最多
- GRU
- 約 LSTM 的四分之三
- 項目
- 長距離依賴
- 簡單 RNN
- 很差
- LSTM
- 好
- GRU
- 好
現在還需要學 LSTM 嗎
Transformer 在多數序列任務上已經取代 LSTM,主因是 LSTM 必須逐步計算、無法在時間維度上平行,訓練速度差很多。
但 LSTM 沒有消失,它在三種情況仍有優勢:
序列很長而運算資源有限時,它的成本與長度成線性,Transformer 成平方。
需要即時逐筆處理的串流場景,例如感測器監控、線上異常偵測,它天生就是一步一步走的。
資料量很小的時候,Transformer 需要的資料量通常比 LSTM 大得多。
另外,理解 LSTM 的閘門機制對理解後來的架構有幫助,狀態空間模型(Mamba)的選擇性機制本質上就是在做同一件事:決定什麼該記、什麼該忘。
情境判斷
Q1(直覺題): 如果模型需要記住很前面的資訊,該考慮哪種結構?
LSTM 很適合,因為它專門處理長距離依賴。
Q2(判斷題): 只要是序列資料,就一定要用 LSTM 嗎?
不一定,現在很多任務也可以用 Transformer 或其他序列模型。
常見問題
LSTM 多了門控和記憶單元,能減少長序列資訊消失。
有,特別是在某些時間序列和資源有限的任務裡還很實用。
因為它能選擇性保留和丟棄資訊,不會全靠單一路徑傳遞。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把長短期記憶網路列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本