📔2. 信道容量

2.1 介绍

一个常见的通信系统如图

在通信系统中，通过观察 $Y$，我们的目标是恢复 $X$。互信息量$I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$定义了收到$Y$之后$X$不确定性的减少量（反之亦然），这种不确定性是由于信道的传输。让输入$X$和输出$Y$的取值分别为$x$和$y$，信道转移概率为$P(Y|X)$（知道 $x$ 已传输，则观察到 $y$ 的概率。它定义了信道质量。）因此$X$和$Y$之间的互信息为

$$\begin{aligned} I(X,Y)& =\mathbb{E}\left[\log_2\frac{P(y\mid x)}{P(y)}\right] \\ &=\mathbb{E}\left[\log_2\frac{P(y\mid x)}{\sum_xP(y\mid x)P(x)}\right] \end{aligned}$$

$$P(y|x):信道质量;P(x):信源概率分布$$

则信道容量的定义为：

$$C=\max_{P(X)}\{I(X,Y)\}$$

信道容量表示在所有信源分布$P(x)$上可以实现的最大互信息$I(x,y)$。在无线通信系统中，它指的是一个调制符号所能携带的最大信息比特数量，使得信息能够以任意低的错误概率被恢复。

一个无线通信系统如下

需要信道编码来实现这种可靠的通信，给定$k$位信息符号（或比特），添加冗余以获得$n(n>k)$位码字符号（或位），编码率为$r=\frac{k}{n}$。编码了可以理解为信息冗余程度。使用二进制调制，例如BPSK，如果$r<C$，则可以进行可靠的通信。这个性质将在香农信道编码定理（第4章）中得到证明。

离散无记忆信道：

• 离散输入：$X\in{0,1,...,u-1}$

• 离散输出：$Y\in{0,1,...,v-1}$

• 信道转移概率大于等于0，即$P(y|x)\ge0$，同时信道具有归一性，即$\sum_yP(y|x)=1,\forall x$，注意$\sum_xP(x|y)\ne1,\forall y$。

• 信道具有无记忆性：给定输入和输出序列$\textbf{x}=(x_1,x_2,...,x_n)$和$\textbf y=(y_1,y_2,...y_n)$，有

  $$P(y|x)=\prod_{i=1}^nP(y_i|x_i)$$

  即每一对符号之间的转移概率相互独立。转移概率$P(y|x)$可以用转移概率矩阵表示

  $$\begin{gathered}Y{:}\quad0\quad1\quad\cdots\quad v-1\\\mathbf{P}=\begin{array}{cccc}X{:}&0\\&\vdots\\&u-1\end{array}\begin{bmatrix}P(0|0)&\cdots&P(v-1|0)\\P(0|1)&\cdots&P(v-1|1)\\\vdots&\ddots&\vdots\\P(0|u-1)&\cdots&P(v-1|u-1)\end{bmatrix}\end{gathered}$$

2.2 二元对称信道（BSC）

• 输入：0 1 0 0 0 1 1 0 1 0

  输出：0 1 1 1 0 0 1 0 0 0

• 输入和输出是离散的

• 信道传输条件概率如下：

  $$P(y=1|x=0)=P(y=0|x=1)=p\\P(y=0|x=0)=P(y=1|x=1)=1-p$$

  信道概率转移矩阵为：

  $$P=\begin{array}{|cc|}1-p&p\\p&1-p\end{array}$$

  这是最简单的无线通信信道模型。

现在来考虑它的信道容量。由于$I(X,Y)=H(Y)-H(Y|X)$，分析可知，当$H(Y)$去最大值，$H(Y|X)$取最小值时，此时$I(X,Y)$最大。其中$H(Y)\le1$，$H(Y|X)$计算如下

$$\begin{aligned} H(Y|X)&=-\sum_{x\in X}\sum_{y\in Y}P(x,y)\mathrm{log}_2P(y|x) \\ &=-\sum_{x\in X}\sum_{y\in Y}P(y|x)P(x)\mathrm{log}_2P(y|x) \\ &=-P(x=0)\sum_{y\in\{0,1\}}P(y|x=0)log_2P(y|x=0)-P(x=1)\sum_{y\in\{0,1\}}P(y|x=1)\mathrm{log}_2P(y|x=1) \\ &=-P(x=0)((1-p)\mathrm{log}_2(1-p)+p\mathrm{log}_2p)-P(x=1)(p\mathrm{log}_2p+(1-p)\mathrm{log}_2(1-p)) \\ &=-(1-p)\mathrm{log}_2(1-p)-p\mathrm{log}_2p\mathrm{~bits/sym}. \end{aligned}$$

当$P(x=0)=P(x=1)=\frac{1}{2},H(Y)=1$时，信道容量$C=1-H(Y|X)bit/symbol$

为什么信源等概分布时，互信息量最大，即达到信道容量？比较浅层的理解是，当信源等概分布时，$H(Y)$最大，而$H(Y|X)$与信源概率分布无关，所以此时互信息量最大，更深层次的理解是，信号0和信号1的传输出错概率是一样的，即$P(y=0|x=1)=P(y=1|x=0)$，所以传输时没有必要考虑两者的差别，即等概率分布时最优。

综上，二元对称信道的信道容量

$$C=1+p\mathrm{log}_2p+(1-p)\mathrm{log}_2(1-p)\mathrm{~bits/symbol}$$

2.3 二元擦除信道（BEC）

• 输入：1 0 0 1 0 1 0 1 0 0...

  输出：1 e 0 1 e 0 e 0 e 1...

• 信道传输条件概率如下

  $$P(y=e|x=0)=P(y=e|x=1)=p\\P(y=0|x=0)=P(y=1|x=1)=1-p$$

  信道概率转移矩阵为

  $$P=\left[\begin{array}{ccc}1-p&0&p\\0&1-p&p\end{array}\right]$$
• 它是计算机网络中常用的信道模型。数据包要么被完美接收，要么丢失。

现在来考虑它的信道容量，和BSC的分析类似，$P(x=0)=P(x=1)=\frac{1}{2}$时互信息量最接近信道容量。信道容量$C=H(Y)-H(Y|X)$，又因为$P(y=0)=P(y=1)=\frac{1}{2}(1-p)$且$P(y=e)=p$，所以$Y$的熵为

$$\begin{aligned} H(Y)&=-\sum_{y\in Y}P(y)\mathrm{log}_2P(y) \\ &=-P(y=0)\mathrm{log}_2P(y=0)-P(y=e)\mathrm{log}_2P(y=e)-P(y=1)\mathrm{log}_2P(y=1)\\ &=-\frac12(1-p)\mathrm{log}_2\frac12(1-p)-p\mathrm{log}_2p-\frac12(1-p)\mathrm{log}_2\frac12(1-p) \\ &=-(1-p)\mathrm{log}_2\frac12(1-p)-p\mathrm{log}_2p\:(\mathrm{~bits/sym}) \end{aligned}$$

$Y$在$X$条件下的条件熵为

$$\begin{aligned} H(Y|X) =&-\sum_{x\in X}\sum_{y\in Y}P(y|x)P(x)\mathrm{log}_2P(y|x) \\ =&-P(y=0|x=0)\cdot\frac12\cdot\log_2P(y=0|x=0) -P(y=1|x=1)\cdot\frac12\cdot\log_2P(y=1|x=1) \\ &-P(y=e|x=0)\cdot\frac12\cdot\log_2P(y=e|x=0) -P(y=e|x=1)\cdot\frac12\cdot\log_2P(y=e|x=1) \\ =&-(1-p)\mathrm{log}_2(1-p)-p\mathrm{log}_2p\:(\mathrm{~bits/sym}) \end{aligned}$$

综上可得

$$C=H(Y)-H(Y|X)\\=1-p\mathrm{~bits/sym.}$$

上图可以理解为，丢包率越小，信道容量越大，这里没有出现对称关系，是因为收到0不会翻转得到1

2.4 加性高斯白噪声信道(AWGN)

• 加性高斯白噪声的信道模型为：$y=x+n$

  $x$：离散的输入信号，调制信号

  $n$：独立于x的白噪声，服从$N(0,σ_N^2)$的高斯分布

  $y$：连续的输出信号，是$x$的变化形式

• 这是一种更现实的无线信道模型，其中传输的信号受到噪声的干扰。

• 它用于表示能够确保视距传输（LoS）的空间通信信道。

• 它也经常被用作评估信道代码的通用平台。

信道的互信息为

$$\begin{aligned} I(X,Y)& =H(Y)-H(Y|X) \\ &=H(Y)-H(X+N|X) \\ &=H(Y)-H(N|X) \\ &=H(Y)-H(N) \end{aligned}$$

信道容量为

$$\begin{aligned}\text{C}&=\max_{P(x)}\{I(X,Y)\}\\&=\max_{P(x)}\{H(Y)-H(N)\}\end{aligned}$$

对于AWGN，$N:\mathcal{N}(0,\sigma_N^2)$，它的PDF为

$$P(n)=\frac1{\sqrt{2\pi}\sigma_N}\exp\left(-\frac{n^2}{2\sigma_N^2}\right)$$

在噪声的熵为

$$\begin{aligned} H(N)& =-\int_{-\infty}^{+\infty}P(n)\mathrm{log}_2P(n)\mathrm{d}n \\ &=-\int_{-\infty}^{+\infty}\frac1{\sqrt{2\pi}\sigma_N}\exp\left(-\frac{n^2}{2\sigma_N^2}\right)\log_2\left(\frac1{\sqrt{2\pi}\sigma_N}\exp\left(-\frac{n^2}{2\sigma_N^2}\right)\right)\mathrm{d}n \\ &=\frac12\log_2(2\pi e\sigma_N^2)\text{ (bits/sym)} \end{aligned}$$

直接分析，如果输入$X$是连续的且服从$\mathcal{N}(\mu_X,\sigma_X^2)$高斯分布，则互信息量$I(X,Y)$将取得最大值，即信道容量为

$$C=H(Y)-H(N)$$

对于输入$X$，$\mathcal{N}(\mu_X,\sigma_X^2)$，它的PDF为

$$P(x)=\frac1{\sqrt{2\pi}\sigma_X}\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)$$

则$X$的熵为

$$\begin{aligned}H(X)&=-\int_{-\infty}^{+\infty}P(x)\mathrm{log}_2P(x)\mathrm{d}x\\&=-\int_{-\infty}^{+\infty}\frac1{\sqrt{2\pi}\sigma_X}\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)\log_2\left(\frac1{\sqrt{2\pi}\sigma_X}\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)\right)\mathrm{d}x\\&=\frac12\log_2(2\pi e\sigma_X^2)\text{ bits/sym.}\end{aligned}$$

因为$Y=X+N$，且$X$和$Y$相互独立，则输出$Y$服从高斯分布$\mathcal{N}(\mu_X,\sigma_X^2+\sigma_N^2)=\mathcal{N}(\mu_X,\sigma_Y^2)$，则$Y$的熵为

$$H(Y)=\frac12\log_2(2\pi e(\sigma_X^2+\sigma_N^2))\text{ bits/sym}$$

综上，信道容量为

$$\begin{aligned} \text{C}& =H(Y)-H(N) \\ &=\frac12\log_2(2\pi e(\sigma_X^2+\sigma_N^2))-\frac12\log_2(2\pi e\sigma_N^2) \\ &=\frac12\log_2\left(1+\frac{\sigma_X^2}{\sigma_N^2}\right)\text{bits/sym}. \end{aligned}$$

其中，$\sigma_X^2$是发射信号的功率，$\sigma_N^2$是噪声的功率，因此$\frac{\sigma_X^2}{\sigma_N^2}$通常称为信噪比（SNR）。

上面的结论是通过假设$X$服从高斯分布得来的，在实际的系统中，$X$不是高斯分布的，因此这个限制是无法实现的。

电磁波中的传输因素（维度）：振幅、频率、相位，调制的维度会影响信道容量，如下图

常用的信道容量公式：

$$C_{1-\mathrm{dim}}=\frac12\cdot\log_2(1+\frac{\sigma_X^2}{\sigma_N^2})\text{ bits/sym.}\\C_{2-\mathrm{dim}}=1\cdot\log_2(1+\frac{\sigma_X^2}{\sigma_N^2})\text{ bits/sym.}\\C_{3-\mathrm{dim}}=\frac32\cdot\log_2(1+\frac{\sigma_X^2}{\sigma_N^2})\text{ bits/sym.}$$

信噪比（$\frac{\sigma_X^2}{\sigma_N^2}$）写成分贝(dB)的形式为：

$$10\log_{10}\frac{\sigma_X^2}{\sigma_N^2}$$

现在我们考虑带宽受限的AWGN信号。在实际系统中，接收端需要进行采样来重建接收信号，如图所示

如果信号的频率为 $W$，则采样频率至少应为 $2W$，才能完美重构信号，如图所示

通过采样，我们现在得到了一系列时间离散的高斯样本，信道模型变为

$$y\left(t=\frac s{2W}\right)=x\left(t=\frac s{2W}\right)+n\left(t=\frac s{2W}\right),s=1,2,\cdots$$

信号$y\left(t=\frac s{2W}\right)$有方差$\sigma_X^2$，噪声$n(t=\frac s{2W})$有方差$\sigma_N^2$。

每个时刻离散高斯信道的容量为

$$C_s=\frac12\mathrm{log}_2\left(1+\frac{\sigma_X^2}{\sigma_N^2}\right)\quad\text{bits/sample}$$

• $\sigma_N^2$：噪声样本的功率谱密度

• $N_0$：噪声符号的功率谱密度

• $\sigma_X^2$：信号样本的功率

• $E$：信号符号的功率

取一段时间$T$，由

$$\sigma_X^2\cdot2W\cdot T=E\cdot T$$

得

$$E=2W\sigma_X^2$$

同理，由

$$\sigma_N^2\cdot2W\cdot T=N_0\cdot W\cdot T$$

得

$$\sigma_N^2=\frac{N_0}2$$

因此

$$C_s=\frac12\log_2\left(1+\frac E{WN_0}\right)\quad\text{bits/sample}$$

这是用信号高能量和噪声功率的比值来表示某个采样点的信道容量。

带宽受限的AWGN信号的信道容量为

$$C=\frac{\sum_{s=1}^{2WT}C_s}T,T–\text{sampling duration}$$

继续展开

$$C=\frac{2WT\cdot\frac12\log_2\left(1+\frac E{WN_0}\right)}T=W\log_2\left(1+\frac E{WN_0}\right)\quad\text{bits/sec.}$$

香农极限：要通过高斯信道实现无误差传输，信噪比$\frac{E_b}{N_0}$至少为$-1.6dB$

证明：

这种可能性是通过信道编码（信息长度k，码字长度n）来保证的，令$E_b$和$E_c$分别表示每个信息符号和每个编码符号的能量，使它们满足

$$k\cdot E_b=n\cdot E_c$$

这样添加冗余度就不会增加传输能量。

以BPSK为例，调制符号的能量为

$$E=E_c=\frac{E_b\cdot k}n=E_b\cdot r$$

假设信号频率$W\to\infty$，则

$$\begin{aligned} \text{C}& =\lim_{W\to\infty}W\log_2\left(1+\frac E{N_0W}\right) \\ &=\frac E{N_0\mathrm{ln}2} \\ &=\frac{E_b\cdot r}{N_0\mathrm{ln}2}\mathrm{~bits/sec}. \end{aligned}$$

为了实现无错误传输，需要

$$r<C\Longrightarrow\frac{E_b}{N_0}>\ln2=0.69$$

夹断信噪比为

$$\mathrm{SNR_{off}=10log_{10}0.69=-1.6~dB}$$

有限调制字母表，即不再假设输入为高斯信号，而是有限调制字母表。在无线通信系统中，数字信号被调制（映射）为模拟信号进行传输。常用的调制方案包括：

AWGN 信道具有有限输入但连续输出。

• 输入$X\in{x_1,x_2,...,x_M}$，BPSK：M=2，QPSK：M=4，16QAM：M=16

• 输出$y=x+n$，其中$n$是AWGN

• 信道容量

  $$C=\max_{P(x_i)}\left\{\sum_{i=1}^M\int_{y:-\infty}^{+\infty}P(x_i,y)\mathrm{log}_2\frac{P(y|x_i)}{P(y)}\mathrm{d}y\right\}$$

  由于

  $$P(x_i,y)=P(y|x_i)P(x_i)\\ P(y)=\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})P(x_{i^{\prime}})$$

  $C$可继续化简为

  $$C=\max_{P(x_i)}\left\{\sum_{i=1}^M\int_{y:-\infty}^{+\infty}P(y|x_i)P(x_i)\mathrm{log}_2\frac{P(y|x_i)}{P(y)}\mathrm{d}y\right\}$$

  $$C=\max_{P(x_i)}\left\{\sum_{i=1}^MP(x_i)\int_{y:-\infty}^{+\infty}P(y|x_i)\mathrm{log}_2\frac{P(y|x_i)}{\sum_{i^{\prime}=1}^MP(x_{i^{\prime}})P(y|x_{i^{\prime}})}\mathrm{d}y\right\}$$

  假设每个调制符号都有同等的可能性被传输，则有

  $$P(x_i)=P(x_{i^{\prime}})=\frac1M$$

  所以信道容量为

  $$\begin{aligned} \text{C}& =\frac1M\sum_{i=1}^M\int_{y:-\infty}^{+\infty}P(y|x_i)\log_2\frac{P(y|x_i)}{\frac1M\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}\mathrm{d}y \\ &=\frac1M\sum_{i=1}^M\mathbb{E}\left[\log_2\frac{P(y|x_i)}{\frac1M\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}\right]\\ &=\frac1M\sum_{i=1}^M\mathbb{E}\left[\log_2M+\log_2\frac{P(y|x_i)}{\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}\right] \\ &=\log_2M-\frac1M\sum_{i=1}^M\mathbb{E}\left[\log_2\frac{\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}{P(y|x_i)}\right] \\ &=\log_2M-\frac{1}{M}\sum_{i=1}^M\mathbb{E}\left[\log_2\sum_{i'=1}^M\exp\left(\frac{|y-x_i|^2-|y-x_i,|^2}{2\sigma_N^2}\right)\right]\quad\text{bits/sym.} \end{aligned}$$

考虑有限输入的信道容量

2.5 衰落信道

• 信道模型：$y=a\cdot x +n$

• 衰落系数𝛼进一步表示信号衰减、信号散射、路径损耗和多径累积的影响。

• 它是城市通信常采用的信道模型。

• 如果$\alpha$服从$\alpha=|\alpha|\exp(j\varphi)$的瑞利分布，则称为瑞利衰落信道。

• 衰落类型

  • 快速衰落：每个$x$都经过一个独立的衰落系数$\alpha$

  • 准静态衰落：在传输一个代码字的过程中，$\alpha$保持不变，并且从一个代码字到另一个代码字独立地变化。

  • 块衰落：$\alpha$逐块变化

• 假设发射机和接收机都知道衰落系数$\alpha$，瞬时容量为

  $$C(\alpha_i)=W\mathrm{log}_2\left(1+\frac{\alpha_i^2\cdot E(\alpha_i)}{WN_0}\right)$$

  $E(\alpha_i)$：信号功率取决于$\alpha_i$，它是由特定衰落实现$\alpha_i$所定义的最大可实现传输速率。

• 遍历容量：

  $$C=\max_{E(\alpha_i)}\mathbb{E}\left[W\mathrm{log}_2\left(1+\frac{\alpha_i^2\cdot E(\alpha_i)}{WN_0}\right)\right]$$

  它是所有衰落实现中可以实现的平均传输速率。