信源理论

信源就是信息的发源地。仙农在信源理论里，首先就规定了信息量。日常生活中，我们常说：“这个消息十分重要”，“这个消息谁都没有料到”，等等，用这些话来描述消息的重要程度，这就是说，有的消息包含的信息量多，有的消息包含的信息量少。那么，怎样来衡量呢？

直观上，如说，“人会跑步”，“地球围绕太阳转”，这些话，都是大家所知道的、完全确定的消息，没有不确定性，这些消息中的信息为零。如果说，“现在，学校操场上有人在跑步”。这样的消息，有二种可能： 有人在跑步或没有人跑步，也就是说发生这件事的概率为二分之一。你要是第一次听到这样的消息：“我国游泳运动员乐靖宜，在亚特兰大第 26 届奥运会上夺得金牌。”这个消息就包含信息量大。因为许多国家的运动员都想夺金牌，奥运会上运动员水平都很高，谁能最终夺金牌？那是不确定的。这就是说一件极为罕见的事件，信息量比普通事件的信息量大。

也就是说，出现概率小的事件，传递的信息量多；出现概率大的事件， 传递的信息量少，信息量是概率的单调递减函数。根据仙农的规定，一个消息所荷载的信息量，等于它发生概率倒数的对数，即

I＝log 1 ＝ − log P

P

在这个式子中，I 就是信息量，P 是事件发生的概率。如果对数以 I 为底，则信息量的单位是比特，如果对数以自然对数 P 为底，则信息量的单位为奈特。