信息論與編碼之信息熵

集X的平均自信息量又稱作是集X的信息熵，簡稱熵，它是為了在觀測之前，確定集X中出現一個事件平均所需的信息量。下面小編就用一個例題來跟大家介紹一下它的求法，希望對大家有所幫助。

操作方法

（01）首先畫出它的一階馬爾剋夫信源的狀態圖，如下圖所示。

（02）然後根據切普曼—柯爾莫哥洛夫方程，可以得到相關表達式，如下圖所示。

（03）接着把p(0），p(1)，p(2)求出來。

（04）然後根據第一小問的答案，求出它的信源熵，注意不要漏了單位。

（05）接着根據題意可知:無記憶信源的符號的概率分佈等於平穩分佈。

（06）可以寫出此時信源的概率空間。

（07）然後求出信源的信息熵。

（08）最後可以比較出它們的大小。