二、熵与信息

经典热力学中关于熵的概念，最先是由克劳修斯提出来的。它的定义

是

△S = ∆Q

T

（1）

即“热温商”，作为热力学过程不可逆程度的一种量度。统计力学使我们对熵这个概念的实质有了更为深刻的理解。统计力学中对熵的定义是玻尔兹曼关系式：

S0 = klnW （2）

式中 W 是分子热运动状态的几率（热力学几率）。这样，熵便是分子随机热运动状态的几率大小的量度，也就是分子热运动的混乱程度或无序度。如果所讨论的对象不限于分子热运动，我们也可以借用熵的概念来描

述并非分子热运动的其他任何物质运动方式、任何事物、任何系统的混乱度或无序度。这样，我们就可以有另一种关于熵的概念，它是热力学和统计力学中熵概念的推广，可以叫做广义熵。广义熵也可以借用玻尔兹曼关 系式来定义，但式中 W 可以是任何一种物质运动方式所可能有的运动状态的数目。

广义熵也可以说是我们对事物运动状态的不肯定程度（不定度），这事实上就是信息论和控制论中关于熵的概念。这一概念几乎同时分别由费歇（R.A.Fisher）、维纳（N.Wiener）和申农（C.E.Shannon）从数学上表

述出来。它也是由几率来定义的：

H = log2 W.

（3）

当我们得到足够的信息后所消除的关于事物运动状态的不肯定性程度，或者说所消除（或减少）的熵，可以叫做负熵，也就是信息量：

I = -H = -log2 W. （4）

信息量所表示的是体系的有序度、组织结构程度、复杂性、特异性或进化发展程度。这是熵（无序度、不定度、混乱度）的矛盾对立面，即负熵。关于信息论的熵与热力学熵的关系，布里渊（L.Brillouin）、林启茨

（H.Linschitz）和奥根斯坦（L.Augensine）等曾进行过初步讨论。在数学式中的表示方面，比较（2）和（4）两式，于是我们有：

I＝ 1 ·S

（5）

- k log2 e 0

由（5）式可知，只要通过单位的换算，就可以用信息量表示负的熵值， 也可以用熵来表示负的信息。

在文献中，熵和信息曾有过许多种不同单位或不同符号的表示法，但在概念上却只有两种。一种是热力学的熵，只能应用于分子或其他粒子的热运动这种特定的物质运动方式。它可由实验数据得出（经验物理熵）， 也可由分子运动的统计理论推演而得（理论物理熵）；另一种是广义熵， 它来自信息论和控制论，可应用于描述任何一种物质运动方式（包括生命现象）的混乱度或无序度，它的矛盾对立面叫负熵或信息量，是组织结构复杂程度或有序度的表示。广义熵概念的含义比热力学熵要广，对于热力学过程可还原为热力学的熵（通过单位换算）。但热力学的熵却并不能应用于非热力学过程，因为热力学熵的概念局限于粒子热运动这种特定的物质运动方式，它与能量（热量）的分配有特定的比例关系。对于并不涉及热能转换的非热力学过程，是不能应用的。可以说，热力学熵的概念是包含于广义熵之中的。