一、信息论的产生与形成

信息论作为一门科学理论，其形成和产生的渊源可以追溯到 19 世纪。

19 世纪中叶到本世纪 40 年代可以作为信息论产生前的准备阶段。自牛顿力

学创立以来，从 17 世纪到 19 世纪在自然科学领域中机械唯物论的世界观占统治地位，机械唯物论否认客观世界存在着偶然因素，把偶然性与必然性绝对地对立起来，企图用拉普拉斯的决定论解释一切。拉普拉斯（P·LaPlace， 1749～1827 年）是法国天文学家、数学家和物理学家。他曾经提出，只要知道了宇宙中所有的作用力及所有原子在某一时刻的坐标和速度，就能确定世界的全部过去和未来，这就是人们通常所说的拉普拉斯决定论。这是一种机械决定论的世界观。值得提出的是，正当绝大多数自然科学家在这种形而上学思想的束缚下，遵照机械决定论的观点思考问题的时候，美国物理学家吉布斯（ Josiah WillandGibbs ）和奥地利物理学家波尔兹曼（ Ludwig Boltzmann）却首先把统计学引进物理领域，使物理学对客观世界中存在的不确定性和偶然性不得不加以考虑。把研究偶然性作为一种科学方法引进物理学，这是吉布斯的一大功绩。对此，美国数学家诺伯特·维纳（Norbert Wiener）曾予以肯定，他指出，吉布斯的统计力学方法中隐含着把一个复杂的偶然事件看作为由许多局部偶然事件无限概率之和。他在《人当作人来使用》一书中曾指出：吉布斯为了修正牛顿的传统学说而将偶然性的观点引入物理学。这种研究方法为信息论的创立提供了方法论的前提。波尔兹曼把熵函数引入统计物理学，对熵首先作了微观解释，指出熵是关于一个物理系统分子运动状态的物理量，表示分子运动的混乱程度，并且把熵和信息联系起来，提出“熵是一个系统失去了的‘信息’的度量。偶然性，熵函数引进物理学为信息论的产生提供了思想前提。他们虽然都涉及到有关信息方面的问题，但由于当时科学技术水平的限制，未能直接提出信息理论的问题。

本世纪 20 年代，根据通信实践的需要，奈奎斯特（H.Nyquist）与哈特莱（Hartley）最早研究了通信系统的传输效率问题，奈奎斯特提出，电信信号的传输速率与信道频带宽度之间存在着比例关系。哈特莱提出，用对数作为信息量的测度，这样，信息就可以用数学方法从数量上加以测度。1928 年，哈特莱发表了《信息传输》（《Transmission of Infor－mati6n 》）一文，首次提出了消息是代码、符号，它与信息有区别（消息是信息的载体，消息的形式是多样的、具体的，如各种语言、文字、图像等等，而信息是指包含

在各种具体消息中的抽象量）。他区分了信息和消息在概念上的差异，并提出用消息出现的概率的对数来度量其中所包含的信息，从而为申农

（C.E.Shannon）的信息理论的建立奠定了初步基础。

1948 年数学家申农发表了著名的论文《通信的数学理论》（《A Mathematical Theory of Communication》）， 1949 年又发表了另一篇论文《在噪声中的通信》。当时申农在贝尔电话公司工作，他为了解决信息的编码问题，为了提高通信系统的效率和可靠性，在研究过程中，需要对信息进行数学处理，这就要求舍弃通信系统中消息的具体内容，把信源发生的信息仅仅看作一个抽象的量。同时，由于通信的对象——信息具有随机性的特点，因此申农把用于物理学中的数学统计方法移植到通信领域，从而提出了信息熵的数学公式，从量的方面来描述信息的传输和提取的问题，并提出了信息量的概念。除了上述贡献外，申农还提出了通信系统模型以及编码定理等方面有关的信息理论问题。申农的这两篇著作确立了现代信息理论的基础，而申农也因此成为信息论的奠基人。此后，信息论就逐步发展成为一门独立的边缘学科。

信息论的另一位奠基人维纳，差不多与申农同时发表了两篇著作：《控制论》（《Cybernetics》， 1948 年）与《平稳时间序列的外推、内插和平滑化》。维纳从控制和通信的角度研究了信息问题，主要是从自动控制的观点研究信号被噪声干扰时的信号处理问题，建立了维纳的“滤波理论”（通信与控制中的滤波问题，指的是从获得的信息与干扰中尽可能滤除干扰，分离出所期望的消息）。1951 年，维纳又发表了另一著作《人当作人来使用》。在上述著作中，维纳提出了信息量的概念、测量信息量的数学公式，叙述了信息概念形成的思想前提，同时把信息的概念又进一步推广，认为信息不仅是通信领域研究的对象，而且与控制系统有密切联系。于是，信息论便成为控制论的一个基本理论了。

美国的另一名统计学家费希尔（R.Fisher），因为需要一个标准来估计实验数据内的信息，他从古典统计理论的角度研究了信息的量度问题。

从上可知，申农、维纳、费希尔各自从不同的方面（申农从编码方面，维纳从滤波理论方面，费希尔则从古典统计理论方面）研究了信息的理论问题，虽然角度不同，但却得到共同的认识：通信必须以随机事件为对象，通信和控制系统所接收的信息带有某种随机性质，通信的目的在于消除收信人的不定性，而要对消息作定量的研究，就必须把各种消息（信号、代码等）的这一共同特征抽取出来，略去其相应的具体内容，单纯从量的方面进行度量，为此就要用统计平均信息的概念来量度消息的概率分布，从而提出用统计数学方法处理通信的理论问题，并给出了信息量的数学公式。信息量等于被消除的不定性的数量，这是申农等人信息论的最重要的结果之一。于是任何一个事件，只要知道它的各个可能独立状态的概率分布，就可以求出它的熵值，从而求出它能提供的信息量。从此，通信科学就由定性研究阶段进入定量研究阶段，这就为信息论及信息科学的研究奠定了初步的理论基础。