AITerms 登入
AI基礎數學基礎統計方法

資訊理論(Information Theory)是什麼?

資訊理論研究資訊的量化、儲存與傳輸,核心概念包含熵、互資訊、通道容量等,為資料壓縮、通訊編碼等領域奠定基礎。

完整定義

資訊理論是由克勞德·香農於1948年創立的學科,旨在量化資訊。它提供了一套數學工具,用於分析和設計高效的資料壓縮、可靠的通訊系統以及密碼學等領域。其核心概念包括熵、互資訊、通道容量等,對現代資訊科技產生了深遠影響。

白話說明

你有沒有想過,一段資料到底「值多少資訊」,可以不可以被更省地傳出去?

你可以把它想成在量化訊息的濃度,越難猜、越不確定的資料,資訊量就越高。

資訊理論研究資訊的量化、儲存與傳輸,核心概念包含熵、互資訊、通道容量等,為資料壓縮、通訊編碼等領域奠定基礎。

記住這句

不管內容,只算資訊量和傳輸成本。

比喻:資訊理論就像研究「話語的精華」 -- 它不關心內容,只關心這段話能傳達多少「驚喜」,以及如何最有效率地傳達。

容易混淆

機率論

機率論在算事件會不會發生,資訊理論在算知道這件事要花多少資訊成本。

語意分析

語意分析看內容意思,資訊理論只管資訊量和傳輸效率,不管內容是不是有道理。

實際案例

檔案壓縮

重複字元多的文字檔可以壓得很小,因為低熵資料本來就比較容易用少量位元表示。

通訊編碼

手機訊號在雜訊很大的環境下仍要傳得準,通道容量和編碼方式就是資訊理論的核心工具。

演算法與應用

熵、互資訊、通道容量是三個核心詞。熵量化不確定性,互資訊看兩個變數共享多少資訊,通道容量則是通訊系統能穩定傳多少資訊。很多機器學習損失函數,其實都能在這套框架裡找到位置。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把資訊理論列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本