信道编码定理查看源代码讨论查看历史
通信术语 信道编码定理是阐明使传信率逼近信道容量的编码是存在的定理。该定理指出，若信道容量为C，待传的信息率为R，若RC则不存在有编码法能实现上述的传信。
定理内容
设R是信息传输的速率，C是离散无记忆信道的信道容量，ε>0是任意小的数，则只要R<C就总存在码字长为N，码字数为M=2NR的分组码使译码的平均差错概率Pe<ε。
定理证明
2.1 信道编码定理的证明思路
通常思路：
构造一个理想的好码，
定义一种译码准则，
计算该好码经过译码后的误码率
问题：
构建极其复杂且无具体方法，
N值很大时，误码率计算困难
香农采取的方法:
用随机编码方法得到所有可能码的集合,在其中随机选择一个码作为信道码,利用联合典型序列译码,利用大数定理计算在集合平均意义上的该码性能
2.2 证明
从早期的粗糙定性证明到后来给定精确差错概率指数上下限的严格数学证明。许多类型信道的编码定理已获证明。但是许多信道的编码定理，其证明还有待于完善，或尚未得到证明，甚至有些信道的容量概念还不清楚。
通常采用随机编码的概念来证明编码定理。它是以一定的概率分布随机地选取M个码字构成一种编码，从中选出一个码字来代表待传送的N个符号的信息序列，通过信道送出。然后计算出随机编码集合上的平均译码错误概率(差错率) 的上、下限 如图1。
其中E1(R）和E2(R)分别是 的上、下限指数，它们随信率R的变化如图所示。这揭示了通信系统的可靠性 、有效性(R/C)和复杂性(N）之间的关系，为通信系统设计提供了理论依据。E1(R）和E2(R)又称为可靠性函数。当R<C时，E1(R）和E2(R)是非负的，故当N→∞时有。既然所有编码的平均误差可接近零，则必然存在一种编码的误差至少不劣于此平均值；反之，当R>C时，E1(R）和E2(R)趋于零，则，就不可能存在一种不出差错的编码，这样就证明了信道编码定理。
2.3 物理意义
(1)通过编码可以实现有噪信道上可靠的信息传输
(2)有噪信道可靠传输的信息率的上界是信道容量C
(3)在码长及发送信息速率一定时，可以通过增大信道容量，使错误概率减小
(4)在信道容量及发送信息速率一定时，可以通过增加码长，使错误概率下降
作用
在资源、可靠性和传信量之间选择一个好的工作点（有时还要考虑延时）。(资源指的提供信息传输所付出的代价,包括频率、时间、空间、功率等等。但不包括实现复杂度,一个好的编码就是要充分利用资源，传递尽可能多的信息.)
三种情况
给定资源和可靠性要求，通过信道编码尽量提高传输速率（例：多电平编码）
给定对信息传输的速率和可靠性要求，通过信道编码尽量减少资源开销（例：扰乱编码）
给定资源和传输速率，通过编码提高可靠性（例：检、纠错编码）
分类
(1)按码的结构分:线性码,线性分组码（群码）,卷积码（线性树码）,非线性码
(2)按抗干扰模式分:抗随机差错码,抗突发差错码
(3)按对错误的处理方式分:检错码——应用于ARQ（反馈重发）方式；纠错码——应用于FEC（前向纠错）方式；检纠错码——应用于HEC（混合纠错）方式。
视频
信道编码定理