【導讀：當今人類即將或者已然了進入智能時代，這是·情報通·人工智能科普系列第[16]篇文章，歡迎閱讀和收藏】
1 基本概念
1.1 信息熵
信息理論的鼻祖之一 Claude E. Shannon 把信息（熵）定義為 離散 隨機事件 的出現概率。在信息論中，熵被用來衡量一個隨機變量出現的期望值。他代表了在接受之前，信息傳輸過程中損失的信息量，又被成為信息熵。信息熵也稱信源熵、平均自信量。信息熵的熵是源自於熱力學。在熱力學中熵的定義是系統可能狀態數的對數；其物理含義是體系混亂程度的度量。而熵在信息論中代表隨機變量不確定度的度量。信息熵認為一條信息的信息量大小和它的不確定性有直接的關係。具體的話我們已經在一中講解完畢，結合二者後，可以認為信息量的度量就等於不確定性的多少。信息的基本作用就是消除人們對事物的不確定性。
1.2 組合數
組合是數學的重要概念之一。從 n 個不同元素中每次取出 m 個不同元素 ，不管其順序合成一組，稱為從 n 個元素中不重複地選取 m 個元素的一個組合。所有這樣的組合的種數稱為組合數。
2 術語解釋
2.1 信息熵的數學公式
一個離散型隨機變量 X 的熵 H(X) 的定義為：
其中， x 表示隨機變量，與之相對應的是所有可能輸出的集合，定義為符號集 , 隨機變量的輸出用 x 表示。 P(x) 表示輸出概率函數。變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大 .
2.2 組合數計算公式
組合數的計算公式為
3 詳細說明
3.1 舉例說明信息熵
賭馬比賽裡，有 4 匹馬 {A ， B ， C ， D}, 獲勝的概率分別為 1/2 ， 1/4 ， 1/8 ， 1/8.
那麼接下來我們將獲勝視為一個隨機變量 X ∈ {A ， B ， C ， D}X ∈ {A ， B ， C ， D} 。由於信息不明確，所以這裡我們採用提問的手段來確定隨機變量 X 的取值情況。
我們準備了四個問題： A 獲勝了嗎？ B 獲勝了嗎？ C 獲勝了嗎？我們通過最多這三個問題就可以得到我們想要的答案。
當 X=A ，那麼需要問 1 次， p(A)=1/2; 也可以將這句解讀為有 1/2 的機率提問一個問題即可得到答案。
當 X=B ，那麼需要問 2 次， p(B)=1/4 ；表示有 1/4 的機率問 3 個問題即可得到答案。
當 X=C ，那麼需要問 3 次， p(C)=1/8 ；表示有 1/8 的機率問 3 個問題即可得到答案。
當 X=D ，那麼需要問 3 次， p(D)=1/8 ；表示有 1/8 的機率問 3 個問題即可得到答案。
在這種文法下，那麼 X 取值的二元問題數量為：
根據信息熵的定義，會得到 ( 這裡取以 2 為底 ) ：
在二進制計算機中，一個比特為 0 或 1 ，其實就代表一個二元問題的回答。也就是說，在計算機中，我們給那一批馬奪冠這個時間進行編碼，所需要的平均碼長為 1.75 個比特。
平均碼長的定義為：
3.2 組合數的性質
3.2.1 互補性質
從 n 個不同元素中取出 m 個元素的組合數 = 從 n 個不同元素中取出 (n-m) 個元素的組合數；
這個性質很容易理解，例如 C(9,2)=C(9,7) ，即從 9 個元素裡選擇 2 個元素的方法與從 9 個元素裡選擇 7 個元素的方法是相等的。
規定： C(n,0)=1 C(n,n)=1 C(0,0)=1
3.2.2 組合恆等式
若表示在 n 個物品中選取 m 個物品，則如存在下述公式： C(n,m)=C(n,n-m)=C(n-1,m-1)+C(n-1,m) 。
閱讀更多 情報通 的文章
