完整定義
張量處理單元(TPU)是Google開發的客製化硬體加速器,專為加速機器學習工作負載而設計。TPU針對張量運算進行了優化,張量是機器學習模型中使用的多維陣列。TPU在深度學習模型的訓練和推論方面表現出色,尤其是在Google的TensorFlow框架中。
白話說明
你有沒有聽過 AI 訓練常常跑在特殊晶片上,而不是普通電腦 CPU?
你可以把張量處理單元想成「專門幫深度學習算矩陣的加速器」
它把大量重複的數學運算做得又快又省電
很適合訓練和推論大型模型,但不是所有工作都一定比 GPU 更合適
記住這句
大量矩陣運算,交給專門的加速晶片最划算。
比喻:TPU 就像是為 AI 訓練特別打造的超級跑車 -- 一般電腦是普通轎車,GPU 可能是跑車,但 TPU 是專為 AI 訓練優化的賽車,跑起來又快又省力。
容易混淆
張量處理單元 vs CPU
CPU 是通用處理器
TPU 是偏向張量和矩陣運算的專用加速器
最關鍵的區別:通用和專用
張量處理單元 vs GPU
GPU 也很擅長平行運算
TPU 更偏向某些深度學習工作負載
最關鍵的區別:同樣是加速器,但設計重點不同
張量處理單元 vs 雲端服務
TPU 是硬體
雲端服務是提供硬體的使用方式
最關鍵的區別:晶片和平台不要混淆
實際案例
大型訓練
模型訓練要跑數十億次乘加運算時,用 TPU 可以把時間壓得更短
線上推論
在服務流量很高的時候,TPU 能幫忙把每秒處理量撐起來
演算法與應用
| 矩陣乘法 | 深度學習最常見的核心運算 | TPU 對這類工作很友善 |
| 平行運算 | 同時處理很多數值 | 效能高但要配合模型設計 |
| 能耗控制 | 以更低功耗完成運算 | 大規模部署時很重要 |
| 工作負載 | 不是每種程式都適合 | 要看模型和資料流形態 |
TPU 的原理:脈動陣列
TPU 是 Google 為神經網路運算設計的專用晶片(ASIC),全名 Tensor Processing Unit,中文譯作張量處理單元。
它跟 CPU、GPU 最大的差別在於矩陣運算單元的結構,用的是脈動陣列(systolic array)。
一般處理器做矩陣乘法,每算一次都要從記憶體讀取運算元、算完再寫回去。神經網路的矩陣非常大,這些搬運動作會變成瓶頸,實際上晶片大部分時間是在等資料,不是在算。
脈動陣列的做法是把大量乘加單元排成二維網格,資料從邊緣灌進去之後,像血液流過血管一樣在單元之間依序傳遞,每經過一個單元就做一次乘加,中間結果直接傳給隔壁而不回寫記憶體。
結果是同一筆資料讀進來之後被重複利用很多次,記憶體存取次數大幅下降。這就是 TPU 在矩陣乘法這件事上能量效比很高的原因。
TPU 跟 GPU 怎麼選
判斷方式很直接:模型架構還在動、需要寫自訂運算,用 GPU;架構固定、要長時間大規模訓練或服務,而且已經在 Google Cloud 上,TPU 的成本效益通常更好。
需要注意的是實際效能高度依賴模型能不能被編譯器有效轉換。標準的 Transformer 或 CNN 在 TPU 上表現很好,但用了大量動態控制流或自訂 kernel 的模型可能完全發揮不出來,這種情況要先跑小規模實測,不能只看規格。
- 項目
- 定位
- GPU
- 通用平行運算
- TPU
- 為張量運算設計的專用晶片
- 項目
- 彈性
- GPU
- 高,什麼運算都能寫
- TPU
- 低,非標準運算不一定跑得好
- 項目
- 生態
- GPU
- CUDA 生態成熟,工具最多
- TPU
- 主要透過 JAX 與 TensorFlow,PyTorch 需經 XLA
- 項目
- 取得方式
- GPU
- 可自購、各家雲端都有
- TPU
- 只在 Google Cloud 上租用
- 項目
- 適合場景
- GPU
- 研究、實驗、模型架構常變動
- TPU
- 大規模穩定訓練、超大批次推論
情境判斷
Q1(直覺題):你要把很多張圖片一起丟進模型做推論,TPU 有幫助嗎?
有可能有幫助,尤其在批次大、矩陣運算多的情況下。
Q2(判斷題):你只是寫一個小型資料整理腳本,還需要 TPU 嗎?
通常不需要,通用 CPU 就足夠。
常見問題
不一定,要看模型類型、框架支援和工作負載。
可以,而且很多大模型訓練本來就會用它。
沒有,TPU 是傳統運算的專用加速硬體。
不是。手機殼、砧板常說的 TPU 是熱塑性聚氨酯(thermoplastic polyurethane),是一種塑膠材料。AI 領域的 TPU 是 Tensor Processing Unit,是 Google 為機器學習工作負載設計的特殊應用積體電路(ASIC),兩者只是縮寫剛好相同。
TPU 由 Google 開發。依 Google 在 2017 年發表的論文,第一代 TPU 從 2015 年起部署在 Google 資料中心,用來加速神經網路的推論,核心是由 65,536 個 8 位元乘加單元組成的矩陣乘法單元。後續世代加入訓練能力,並透過 Google Cloud 提供租用。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本