二、信息论

信息论是在通信的发展中产生的，它研究信息的基本性质和度量方法。1948 年美国数学家仙农发表了一篇著名论文《通信的数学理论》，奠定了信息论的基础。他建立的信息论包括三个主要内容：信源理论、信道理论、信息失真函数理论。下面我们简单谈一谈信息论。

信息量的概念是根据概率论的观点提出的，概率论是信息论的基础，要了解信息论则先要了解一下概率论。

每个人都知道，水在 100℃时会沸腾，在 0℃时会结冰，这些事是确定的，我们称之为确定事物。而另外一些事物则并不确定，如每年会下几次雪，明天温度会是多少，这都是随时变化的事物，又叫随机事物。随机事物表面看来杂乱无章，但实则有其内在规律可循，比如明天下不下雪是一个随机事物，但冬季下雪的可能性则远远大于夏季。随机事物发生的内在规律就是概率分

布问题。概率论就是研究随机事物统计规律的数学理论。

举个例子来说，你在桌面上抛一枚硬币，它可能出现两种结果，正面或反面，则出现正面或出现反面的概率各为 50％。若抛两枚硬币，则每个硬币都有两种可能性，所以共有三种可能：两个正面，两个反面或者一正一反，前两种可能发生的概率各为 25％，而一正一反发生的可能是 50％。概率论告诉我们，只要在同样的试验条件下重复足够大的次数，结果与理论相差极小。

大致了解了概率论，我们便可以介绍一下仙农的信息论了。1.信源理论

信源就是信息的发源地。信源理论中首先规定了信息量的概念。

大家在日常生活中常常凭直觉或感觉来判断“这条消息重要”、“那条消息没什么价值”，这正反映了消息中所含信息量的多少。一条消息所含信息量越多，则相对来讲越重要。

大家不禁要问：信息量的多少如何衡量呢？一般来说，出现概率小的事情，传递的信息量大一些，出现概率大的事则传递的信息量小一些。举个例子，如果你告诉你的朋友，今天太阳是从东边升出来的，这是一个完全确定的事件，没有一点不确定，发生的概率是 100％，那这条消息的信息量为零，可以说你没给你的朋友任何信息。但如果你告诉他，世乒赛中国队包揽了全部金牌，这个消息的信息量就大，因为有好多国家派队参赛，许多高水平的运动员会聚一堂，每个人都可能得金牌，最终谁获得金牌是一件不确定的事，中国队得金牌这件事发生概率就小，包揽全部金牌的概率就更小，故此消息所含信息量大得多。

根据仙农理论，某消息所含的信息量，等于它发生概率的倒数的对数。即：

信息量 = lg 概率

2、信道理论

前面讲过，信息的八大特性之一是可传输性，而信息的流通则必须通过信道。

我们知道，一条公路在一定条件下有一个最大通过能力。同样，一个信道也有其容量，存在最大传信率，所谓传信率是指通信速度。一般来说，只要选用合适的编码，在传信率低于信道容量时，信息完全可以毫无差错地在信道中传递，这正是仙农的信道理论所告诉我们的。

我们研究信道的目的，正是为了挖掘信道的潜力，更好地发挥信道的潜力，使其能存贮或传输更大的信息量。

3.信息失真函数

研究信息失真函数的主要目的是探明在允许的失真范围内，要把信源的信息完全传递出去所要求的信道容量最小值是多少。

随着科学技术的发展，信息论正愈来愈广泛地应用于一系列与信息有关的理论之中。