计算机

绕不开的香农三大定律

第一大定律

假设离散记忆源X包含N个符号{x1,x2，…习,. .,xN },K重符号序列信息来源,源可以发送字母N ^ K不同符号序列信息,这第一个j符号序列消息出现概率PKj,源代Bj的二进制代长度后,代组的平均长度为B

B = PK1B1 + PK2B2 +…+波兰^ kBN ^ k。

当K→∞时，B和H(X)的量之间的关系是B*K=H(X)(K趋于无穷)。

香农第一定理也被称为无失真的信源编定理或可变长度编的信源编定理。

香农的第一个定理:将原源符号的意义转化为新的代符号，尽可能地将从属的代符号转化为可能的分布，从而使每个代符号携带最多的信息，从而尽可能少地使用代符号传输源信息。

第二大定律

噪声信道编定理。当信息传输速率小于信道容量时，使用适当的信道编方法可以实现任意的高传输可靠性，但如果信息传输速率超过信道容量，则不可能实现可靠的传输。

已经成立了一个r通道输入符号,年代输出符号,C的信道容量,当信道的信息传输率r < C代长度N足够长时,你可以设置的输入(包含r ^ N代符号序列的长度N),找到M(M < = 2 ^(N)(C - a)),一个积极的)任何小的字,代表了M的可能性,比如新闻,形成一个代和相应的解规则,使输出通道到达任何小最小平均误差的概率解

第三大定律

信度准则的信源编定理，或有损信源编定理。只要代长度足够长，你总能找到一种源代，编的信息传输速率略大于速率失真函数，平均失真度不大于给定的代允许失真度，即D '< = D。R(D)为一个离散无记忆源信息率失真函数,和选定的有限变形函数,对于任何允许平均失真D > = 0,和任何小> 0,和任何足够长的时间代长度N,那么必须有一种源编W,字数量是M < = EXP { N }(R(D)+一个),和的平均失真度编代D '(W)< = D +

“信息”被定义为一种有别于物质—能源的东西，在需要作出决策的时候，有一个选择存在于一批选择之中，在这样的情况下，信息影响不确定性。因此，信息是不确定性的减少。信息的基本单位是比特，这个词是“二进制数字”的浓缩。

香农的信息测度单位——比特——的一个重要优点是：它能够为范围极其广泛的“物质—能量”所使用。比特是信息的一个普遍单位。在每一种情况下，信息量都可以被还原为比特。

香农在1948年的两篇论文提出了一系列以数学形式表达的定理，涉及到讯息从一个地方向另一个地方的传递。这些定理预示了信道能力的、以信息的比特来测度的因变量。香农也阐述了传播所涉及的主要因素：信源、讯息、发射器、信号、噪音、接受到的信号、接受器和信宿。克劳德·香农的整体理论贡献被普遍成为信息论，尽管香农将之称为“传播的数学理论”。

香农的传播模式：“信源”在一系列可能的讯息中选择一个称心的“讯息”——“发射器”将这个讯息改变成“信号”，后者实际上是通过“传播信道”被从发射器送到“接受器”——“接受器”是一种相反的发射器，将被发射的信号重新变成一个讯息，并将这个讯息传递到信宿——在被发射的过程中，不幸的特征：某些东西被加到了信号上面，它们在信源的意图之外——被发射的信号中的所有这些变化就被称为“噪音”。

1948年以后，香农的信息论在物理学、生物学和社会科学等学术团体中得到迅速而又广泛的传播。信息论被普遍引用，这种影响历时多年经久不衰。香农的（以熵的公式所测度的）信息概念对于传播学学者来说有着直接的用处。或许这就是为什么他的理论通常被称为“信息”理论、而不是“传播”理论的原因，后者是香农用来表示其理论的术语。

香农的信息概念的普遍性受到了赞扬：通过以定义清晰、但又完全抽象的术语来对待信息，而且适用于所有种类、所有领域的信息。香农信息论对目前的通信系统设计和编都有不可忽视的指导意义。