（四）编码问题

所谓编码就是把信息变换成信号的措施。信息发出消息，在其被送入信道前往往要经过编码过程，消息之所以要经过编码，是因为：①信源发出的原始消息不适于直接在信道上传输，只有经过编码，才能使消息成为适合在信息上传送的具体形式。如，打电报，把文字符号转换成莫尔斯电码。②为了对抗信道中的噪声干扰，需要把消息编码成不易被干扰破坏的具体形式， 以免在接收端再现消息时引起失真。③信源发出消息经过编码后，使信息熵的传输速度接近于信道容量。所以编码问题是从理论上说明，如何编码，使信源发出的消息能充分表达，信息的容量能被充分利用，并能在接收端无失真地再现消息，以提高通信系统的有效性与可靠性。

编码定理是信息论中的重要组成部分。申农从提高通信系统的有效性与可靠性出发，提出了有关的三个编码定理。申农的第一定理是无失真信源编码定理，研究了信息熵与编码长度之间的关系；第二定理为信源编码定理， 指出在给定信道的条件下，总可能找到一种编码方法，使译码的错误概率任意小；第三定理为限失真的信源编码定理，指出在限定失真的条件下，失真度与信息传输率之间的关系。这三个定理在当时是对信息论的两个基本问题

（有效性与可靠性）的一种理论上的解释。

从 60 年代以后直到目前，申农信息论发展比较活跃的方向是信源编码理论和多路通信理论。这些研究进展是与计算机网络、大系统、系统工程的实际需要相关的。此外，近些年来关于申农理论中信息量的研究也十分活跃， 如各种广义信息量理论的出现，以及现有信息量如估值、判决、滤波（非线性）、识别理论的应用等等。