Page cover

📔2. 信道容量

2.1 介绍

一个常见的通信系统如图

在通信系统中,通过观察 YY,我们的目标是恢复 XX。互信息量I(X,Y)=H(X)H(XY)=H(Y)H(YX)I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)定义了收到YY之后XX不确定性的减少量(反之亦然),这种不确定性是由于信道的传输。让输入XX和输出YY的取值分别为xxyy,信道转移概率为P(YX)P(Y|X)(知道 xx 已传输,则观察到 yy 的概率。它定义了信道质量。)因此XXYY之间的互信息为

I(X,Y)=E[log2P(yx)P(y)]=E[log2P(yx)xP(yx)P(x)]\begin{aligned} I(X,Y)& =\mathbb{E}\left[\log_2\frac{P(y\mid x)}{P(y)}\right] \\ &=\mathbb{E}\left[\log_2\frac{P(y\mid x)}{\sum_xP(y\mid x)P(x)}\right] \end{aligned}
P(yx):信道质量;P(x):信源概率分布P(y|x):信道质量;P(x):信源概率分布

则信道容量的定义为:

C=maxP(X){I(X,Y)}C=\max_{P(X)}\{I(X,Y)\}

信道容量表示在所有信源分布P(x)P(x)上可以实现的最大互信息I(x,y)I(x,y)。在无线通信系统中,它指的是一个调制符号所能携带的最大信息比特数量,使得信息能够以任意低的错误概率被恢复。

一个无线通信系统如下

需要信道编码来实现这种可靠的通信,给定kk位信息符号(或比特),添加冗余以获得n(n>k)n(n>k)位码字符号(或位),编码率为r=knr=\frac{k}{n}。编码了可以理解为信息冗余程度。使用二进制调制,例如BPSK,如果r<Cr<C,则可以进行可靠的通信。这个性质将在香农信道编码定理(第4章)中得到证明。

离散无记忆信道:

  • 离散输入:X0,1,...,u1X\in{0,1,...,u-1}

  • 离散输出:Y0,1,...,v1Y\in{0,1,...,v-1}

  • 信道转移概率大于等于0,即P(yx)0P(y|x)\ge0,同时信道具有归一性,即yP(yx)=1,x\sum_yP(y|x)=1,\forall x,注意xP(xy)1,y\sum_xP(x|y)\ne1,\forall y

  • 信道具有无记忆性:给定输入和输出序列x=(x1,x2,...,xn)\textbf{x}=(x_1,x_2,...,x_n)y=(y1,y2,...yn)\textbf y=(y_1,y_2,...y_n),有

    P(yx)=i=1nP(yixi)P(y|x)=\prod_{i=1}^nP(y_i|x_i)

    即每一对符号之间的转移概率相互独立。转移概率P(yx)P(y|x)可以用转移概率矩阵表示

    Y:01v1P=X:0u1[P(00)P(v10)P(01)P(v11)P(0u1)P(v1u1)]\begin{gathered}Y{:}\quad0\quad1\quad\cdots\quad v-1\\\mathbf{P}=\begin{array}{cccc}X{:}&0\\&\vdots\\&u-1\end{array}\begin{bmatrix}P(0|0)&\cdots&P(v-1|0)\\P(0|1)&\cdots&P(v-1|1)\\\vdots&\ddots&\vdots\\P(0|u-1)&\cdots&P(v-1|u-1)\end{bmatrix}\end{gathered}

2.2 二元对称信道(BSC)

  • 输入:0 1 0 0 0 1 1 0 1 0

    输出:0 1 1 1 0 0 1 0 0 0

  • 输入和输出是离散的

  • 信道传输条件概率如下:

    P(y=1x=0)=P(y=0x=1)=pP(y=0x=0)=P(y=1x=1)=1pP(y=1|x=0)=P(y=0|x=1)=p\\P(y=0|x=0)=P(y=1|x=1)=1-p

    信道概率转移矩阵为:

    P=1ppp1pP=\begin{array}{|cc|}1-p&p\\p&1-p\end{array}

    这是最简单的无线通信信道模型。

现在来考虑它的信道容量。由于I(X,Y)=H(Y)H(YX)I(X,Y)=H(Y)-H(Y|X),分析可知,当H(Y)H(Y)去最大值,H(YX)H(Y|X)取最小值时,此时I(X,Y)I(X,Y)最大。其中H(Y)1H(Y)\le1H(YX)H(Y|X)计算如下

H(YX)=xXyYP(x,y)log2P(yx)=xXyYP(yx)P(x)log2P(yx)=P(x=0)y{0,1}P(yx=0)log2P(yx=0)P(x=1)y{0,1}P(yx=1)log2P(yx=1)=P(x=0)((1p)log2(1p)+plog2p)P(x=1)(plog2p+(1p)log2(1p))=(1p)log2(1p)plog2p bits/sym.\begin{aligned} H(Y|X)&=-\sum_{x\in X}\sum_{y\in Y}P(x,y)\mathrm{log}_2P(y|x) \\ &=-\sum_{x\in X}\sum_{y\in Y}P(y|x)P(x)\mathrm{log}_2P(y|x) \\ &=-P(x=0)\sum_{y\in\{0,1\}}P(y|x=0)log_2P(y|x=0)-P(x=1)\sum_{y\in\{0,1\}}P(y|x=1)\mathrm{log}_2P(y|x=1) \\ &=-P(x=0)((1-p)\mathrm{log}_2(1-p)+p\mathrm{log}_2p)-P(x=1)(p\mathrm{log}_2p+(1-p)\mathrm{log}_2(1-p)) \\ &=-(1-p)\mathrm{log}_2(1-p)-p\mathrm{log}_2p\mathrm{~bits/sym}. \end{aligned}

P(x=0)=P(x=1)=12,H(Y)=1P(x=0)=P(x=1)=\frac{1}{2},H(Y)=1时,信道容量C=1H(YX)bit/symbolC=1-H(Y|X)bit/symbol

为什么信源等概分布时,互信息量最大,即达到信道容量?比较浅层的理解是,当信源等概分布时,H(Y)H(Y)最大,而H(YX)H(Y|X)与信源概率分布无关,所以此时互信息量最大,更深层次的理解是,信号0和信号1的传输出错概率是一样的,即P(y=0x=1)=P(y=1x=0)P(y=0|x=1)=P(y=1|x=0),所以传输时没有必要考虑两者的差别,即等概率分布时最优。

综上,二元对称信道的信道容量

C=1+plog2p+(1p)log2(1p) bits/symbolC=1+p\mathrm{log}_2p+(1-p)\mathrm{log}_2(1-p)\mathrm{~bits/symbol}

2.3 二元擦除信道(BEC)

  • 输入:1 0 0 1 0 1 0 1 0 0...

    输出:1 e 0 1 e 0 e 0 e 1...

  • 信道传输条件概率如下

    P(y=ex=0)=P(y=ex=1)=pP(y=0x=0)=P(y=1x=1)=1pP(y=e|x=0)=P(y=e|x=1)=p\\P(y=0|x=0)=P(y=1|x=1)=1-p

    信道概率转移矩阵为

    P=[1p0p01pp]P=\left[\begin{array}{ccc}1-p&0&p\\0&1-p&p\end{array}\right]
  • 它是计算机网络中常用的信道模型。数据包要么被完美接收,要么丢失。

现在来考虑它的信道容量,和BSC的分析类似,P(x=0)=P(x=1)=12P(x=0)=P(x=1)=\frac{1}{2}时互信息量最接近信道容量。信道容量C=H(Y)H(YX)C=H(Y)-H(Y|X),又因为P(y=0)=P(y=1)=12(1p)P(y=0)=P(y=1)=\frac{1}{2}(1-p)P(y=e)=pP(y=e)=p,所以YY的熵为

H(Y)=yYP(y)log2P(y)=P(y=0)log2P(y=0)P(y=e)log2P(y=e)P(y=1)log2P(y=1)=12(1p)log212(1p)plog2p12(1p)log212(1p)=(1p)log212(1p)plog2p( bits/sym)\begin{aligned} H(Y)&=-\sum_{y\in Y}P(y)\mathrm{log}_2P(y) \\ &=-P(y=0)\mathrm{log}_2P(y=0)-P(y=e)\mathrm{log}_2P(y=e)-P(y=1)\mathrm{log}_2P(y=1)\\ &=-\frac12(1-p)\mathrm{log}_2\frac12(1-p)-p\mathrm{log}_2p-\frac12(1-p)\mathrm{log}_2\frac12(1-p) \\ &=-(1-p)\mathrm{log}_2\frac12(1-p)-p\mathrm{log}_2p\:(\mathrm{~bits/sym}) \end{aligned}

YYXX条件下的条件熵为

H(YX)=xXyYP(yx)P(x)log2P(yx)=P(y=0x=0)12log2P(y=0x=0)P(y=1x=1)12log2P(y=1x=1)P(y=ex=0)12log2P(y=ex=0)P(y=ex=1)12log2P(y=ex=1)=(1p)log2(1p)plog2p( bits/sym)\begin{aligned} H(Y|X) =&-\sum_{x\in X}\sum_{y\in Y}P(y|x)P(x)\mathrm{log}_2P(y|x) \\ =&-P(y=0|x=0)\cdot\frac12\cdot\log_2P(y=0|x=0) -P(y=1|x=1)\cdot\frac12\cdot\log_2P(y=1|x=1) \\ &-P(y=e|x=0)\cdot\frac12\cdot\log_2P(y=e|x=0) -P(y=e|x=1)\cdot\frac12\cdot\log_2P(y=e|x=1) \\ =&-(1-p)\mathrm{log}_2(1-p)-p\mathrm{log}_2p\:(\mathrm{~bits/sym}) \end{aligned}

综上可得

C=H(Y)H(YX)=1p bits/sym.C=H(Y)-H(Y|X)\\=1-p\mathrm{~bits/sym.}

上图可以理解为,丢包率越小,信道容量越大,这里没有出现对称关系,是因为收到0不会翻转得到1

2.4 加性高斯白噪声信道(AWGN)

  • 加性高斯白噪声的信道模型为:y=x+ny=x+n

    xx:离散的输入信号,调制信号

    nn:独立于x的白噪声,服从N(0,σN2)N(0,σ_N^2)的高斯分布

    yy:连续的输出信号,是xx的变化形式

  • 这是一种更现实的无线信道模型,其中传输的信号受到噪声的干扰。

  • 它用于表示能够确保视距传输(LoS)的空间通信信道。

  • 它也经常被用作评估信道代码的通用平台。

信道的互信息为

I(X,Y)=H(Y)H(YX)=H(Y)H(X+NX)=H(Y)H(NX)=H(Y)H(N)\begin{aligned} I(X,Y)& =H(Y)-H(Y|X) \\ &=H(Y)-H(X+N|X) \\ &=H(Y)-H(N|X) \\ &=H(Y)-H(N) \end{aligned}

信道容量为

C=maxP(x){I(X,Y)}=maxP(x){H(Y)H(N)}\begin{aligned}\text{C}&=\max_{P(x)}\{I(X,Y)\}\\&=\max_{P(x)}\{H(Y)-H(N)\}\end{aligned}

对于AWGN,N:N(0,σN2)N:\mathcal{N}(0,\sigma_N^2),它的PDF为

P(n)=12πσNexp(n22σN2)P(n)=\frac1{\sqrt{2\pi}\sigma_N}\exp\left(-\frac{n^2}{2\sigma_N^2}\right)

在噪声的熵为

H(N)=+P(n)log2P(n)dn=+12πσNexp(n22σN2)log2(12πσNexp(n22σN2))dn=12log2(2πeσN2) (bits/sym)\begin{aligned} H(N)& =-\int_{-\infty}^{+\infty}P(n)\mathrm{log}_2P(n)\mathrm{d}n \\ &=-\int_{-\infty}^{+\infty}\frac1{\sqrt{2\pi}\sigma_N}\exp\left(-\frac{n^2}{2\sigma_N^2}\right)\log_2\left(\frac1{\sqrt{2\pi}\sigma_N}\exp\left(-\frac{n^2}{2\sigma_N^2}\right)\right)\mathrm{d}n \\ &=\frac12\log_2(2\pi e\sigma_N^2)\text{ (bits/sym)} \end{aligned}

直接分析,如果输入XX是连续的且服从N(μX,σX2)\mathcal{N}(\mu_X,\sigma_X^2)高斯分布,则互信息量I(X,Y)I(X,Y)将取得最大值,即信道容量为

C=H(Y)H(N)C=H(Y)-H(N)

对于输入XXN(μX,σX2)\mathcal{N}(\mu_X,\sigma_X^2),它的PDF为

P(x)=12πσXexp((xμX)22σX2)P(x)=\frac1{\sqrt{2\pi}\sigma_X}\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)

XX的熵为

H(X)=+P(x)log2P(x)dx=+12πσXexp((xμX)22σX2)log2(12πσXexp((xμX)22σX2))dx=12log2(2πeσX2) bits/sym.\begin{aligned}H(X)&=-\int_{-\infty}^{+\infty}P(x)\mathrm{log}_2P(x)\mathrm{d}x\\&=-\int_{-\infty}^{+\infty}\frac1{\sqrt{2\pi}\sigma_X}\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)\log_2\left(\frac1{\sqrt{2\pi}\sigma_X}\exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)\right)\mathrm{d}x\\&=\frac12\log_2(2\pi e\sigma_X^2)\text{ bits/sym.}\end{aligned}

因为Y=X+NY=X+N,且XXYY相互独立,则输出YY服从高斯分布N(μX,σX2+σN2)=N(μX,σY2)\mathcal{N}(\mu_X,\sigma_X^2+\sigma_N^2)=\mathcal{N}(\mu_X,\sigma_Y^2),则YY的熵为

H(Y)=12log2(2πe(σX2+σN2)) bits/symH(Y)=\frac12\log_2(2\pi e(\sigma_X^2+\sigma_N^2))\text{ bits/sym}

综上,信道容量为

C=H(Y)H(N)=12log2(2πe(σX2+σN2))12log2(2πeσN2)=12log2(1+σX2σN2)bits/sym.\begin{aligned} \text{C}& =H(Y)-H(N) \\ &=\frac12\log_2(2\pi e(\sigma_X^2+\sigma_N^2))-\frac12\log_2(2\pi e\sigma_N^2) \\ &=\frac12\log_2\left(1+\frac{\sigma_X^2}{\sigma_N^2}\right)\text{bits/sym}. \end{aligned}

其中,σX2\sigma_X^2是发射信号的功率,σN2\sigma_N^2是噪声的功率,因此σX2σN2\frac{\sigma_X^2}{\sigma_N^2}通常称为信噪比(SNR)。

上面的结论是通过假设XX服从高斯分布得来的,在实际的系统中,XX不是高斯分布的,因此这个限制是无法实现的。

电磁波中的传输因素(维度):振幅、频率、相位,调制的维度会影响信道容量,如下图

常用的信道容量公式:

C1dim=12log2(1+σX2σN2) bits/sym.C2dim=1log2(1+σX2σN2) bits/sym.C3dim=32log2(1+σX2σN2) bits/sym.C_{1-\mathrm{dim}}=\frac12\cdot\log_2(1+\frac{\sigma_X^2}{\sigma_N^2})\text{ bits/sym.}\\C_{2-\mathrm{dim}}=1\cdot\log_2(1+\frac{\sigma_X^2}{\sigma_N^2})\text{ bits/sym.}\\C_{3-\mathrm{dim}}=\frac32\cdot\log_2(1+\frac{\sigma_X^2}{\sigma_N^2})\text{ bits/sym.}

信噪比(σX2σN2\frac{\sigma_X^2}{\sigma_N^2})写成分贝(dB)的形式为:

10log10σX2σN210\log_{10}\frac{\sigma_X^2}{\sigma_N^2}

现在我们考虑带宽受限的AWGN信号。在实际系统中,接收端需要进行采样来重建接收信号,如图所示

如果信号的频率为 WW,则采样频率至少应为 2W2W,才能完美重构信号,如图所示

通过采样,我们现在得到了一系列时间离散的高斯样本,信道模型变为

y(t=s2W)=x(t=s2W)+n(t=s2W),s=1,2,y\left(t=\frac s{2W}\right)=x\left(t=\frac s{2W}\right)+n\left(t=\frac s{2W}\right),s=1,2,\cdots

信号y(t=s2W)y\left(t=\frac s{2W}\right)有方差σX2\sigma_X^2,噪声n(t=s2W)n(t=\frac s{2W})有方差σN2\sigma_N^2

每个时刻离散高斯信道的容量为

Cs=12log2(1+σX2σN2)bits/sampleC_s=\frac12\mathrm{log}_2\left(1+\frac{\sigma_X^2}{\sigma_N^2}\right)\quad\text{bits/sample}
  • σN2\sigma_N^2:噪声样本的功率谱密度

  • N0N_0:噪声符号的功率谱密度

  • σX2\sigma_X^2:信号样本的功率

  • EE:信号符号的功率

取一段时间TT,由

σX22WT=ET\sigma_X^2\cdot2W\cdot T=E\cdot T

E=2WσX2E=2W\sigma_X^2

同理,由

σN22WT=N0WT\sigma_N^2\cdot2W\cdot T=N_0\cdot W\cdot T

σN2=N02\sigma_N^2=\frac{N_0}2

因此

Cs=12log2(1+EWN0)bits/sampleC_s=\frac12\log_2\left(1+\frac E{WN_0}\right)\quad\text{bits/sample}

这是用信号高能量和噪声功率的比值来表示某个采样点的信道容量。

带宽受限的AWGN信号的信道容量为

C=s=12WTCsT,T–sampling durationC=\frac{\sum_{s=1}^{2WT}C_s}T,T–\text{sampling duration}

继续展开

C=2WT12log2(1+EWN0)T=Wlog2(1+EWN0)bits/sec.C=\frac{2WT\cdot\frac12\log_2\left(1+\frac E{WN_0}\right)}T=W\log_2\left(1+\frac E{WN_0}\right)\quad\text{bits/sec.}

香农极限:要通过高斯信道实现无误差传输,信噪比EbN0\frac{E_b}{N_0}至少为1.6dB-1.6dB

证明:

这种可能性是通过信道编码(信息长度k,码字长度n)来保证的,令EbE_bEcE_c分别表示每个信息符号和每个编码符号的能量,使它们满足

kEb=nEck\cdot E_b=n\cdot E_c

这样添加冗余度就不会增加传输能量。

以BPSK为例,调制符号的能量为

E=Ec=Ebkn=EbrE=E_c=\frac{E_b\cdot k}n=E_b\cdot r

假设信号频率WW\to\infty,则

C=limWWlog2(1+EN0W)=EN0ln2=EbrN0ln2 bits/sec.\begin{aligned} \text{C}& =\lim_{W\to\infty}W\log_2\left(1+\frac E{N_0W}\right) \\ &=\frac E{N_0\mathrm{ln}2} \\ &=\frac{E_b\cdot r}{N_0\mathrm{ln}2}\mathrm{~bits/sec}. \end{aligned}

为了实现无错误传输,需要

r<CEbN0>ln2=0.69r<C\Longrightarrow\frac{E_b}{N_0}>\ln2=0.69

夹断信噪比为

SNRoff=10log100.69=1.6 dB\mathrm{SNR_{off}=10log_{10}0.69=-1.6~dB}

有限调制字母表,即不再假设输入为高斯信号,而是有限调制字母表。在无线通信系统中,数字信号被调制(映射)为模拟信号进行传输。常用的调制方案包括:

AWGN 信道具有有限输入但连续输出。

  • 输入Xx1,x2,...,xMX\in{x_1,x_2,...,x_M},BPSK:M=2,QPSK:M=4,16QAM:M=16

  • 输出y=x+ny=x+n,其中nn是AWGN

  • 信道容量

    C=maxP(xi){i=1My:+P(xi,y)log2P(yxi)P(y)dy}C=\max_{P(x_i)}\left\{\sum_{i=1}^M\int_{y:-\infty}^{+\infty}P(x_i,y)\mathrm{log}_2\frac{P(y|x_i)}{P(y)}\mathrm{d}y\right\}

    由于

    P(xi,y)=P(yxi)P(xi)P(y)=i=1MP(yxi)P(xi)P(x_i,y)=P(y|x_i)P(x_i)\\ P(y)=\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})P(x_{i^{\prime}})

    CC可继续化简为

    C=maxP(xi){i=1My:+P(yxi)P(xi)log2P(yxi)P(y)dy}C=\max_{P(x_i)}\left\{\sum_{i=1}^M\int_{y:-\infty}^{+\infty}P(y|x_i)P(x_i)\mathrm{log}_2\frac{P(y|x_i)}{P(y)}\mathrm{d}y\right\}
    C=maxP(xi){i=1MP(xi)y:+P(yxi)log2P(yxi)i=1MP(xi)P(yxi)dy}C=\max_{P(x_i)}\left\{\sum_{i=1}^MP(x_i)\int_{y:-\infty}^{+\infty}P(y|x_i)\mathrm{log}_2\frac{P(y|x_i)}{\sum_{i^{\prime}=1}^MP(x_{i^{\prime}})P(y|x_{i^{\prime}})}\mathrm{d}y\right\}

    假设每个调制符号都有同等的可能性被传输,则有

    P(xi)=P(xi)=1MP(x_i)=P(x_{i^{\prime}})=\frac1M

    所以信道容量为

    C=1Mi=1My:+P(yxi)log2P(yxi)1Mi=1MP(yxi)dy=1Mi=1ME[log2P(yxi)1Mi=1MP(yxi)]=1Mi=1ME[log2M+log2P(yxi)i=1MP(yxi)]=log2M1Mi=1ME[log2i=1MP(yxi)P(yxi)]=log2M1Mi=1ME[log2i=1Mexp(yxi2yxi,22σN2)]bits/sym.\begin{aligned} \text{C}& =\frac1M\sum_{i=1}^M\int_{y:-\infty}^{+\infty}P(y|x_i)\log_2\frac{P(y|x_i)}{\frac1M\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}\mathrm{d}y \\ &=\frac1M\sum_{i=1}^M\mathbb{E}\left[\log_2\frac{P(y|x_i)}{\frac1M\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}\right]\\ &=\frac1M\sum_{i=1}^M\mathbb{E}\left[\log_2M+\log_2\frac{P(y|x_i)}{\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}\right] \\ &=\log_2M-\frac1M\sum_{i=1}^M\mathbb{E}\left[\log_2\frac{\sum_{i^{\prime}=1}^MP(y|x_{i^{\prime}})}{P(y|x_i)}\right] \\ &=\log_2M-\frac{1}{M}\sum_{i=1}^M\mathbb{E}\left[\log_2\sum_{i'=1}^M\exp\left(\frac{|y-x_i|^2-|y-x_i,|^2}{2\sigma_N^2}\right)\right]\quad\text{bits/sym.} \end{aligned}

考虑有限输入的信道容量

2.5 衰落信道

  • 信道模型:y=ax+ny=a\cdot x +n

  • 衰落系数𝛼进一步表示信号衰减、信号散射、路径损耗和多径累积的影响。

  • 它是城市通信常采用的信道模型。

  • 如果α\alpha服从α=αexp(jφ)\alpha=|\alpha|\exp(j\varphi)的瑞利分布,则称为瑞利衰落信道。

  • 衰落类型

    • 快速衰落:每个xx都经过一个独立的衰落系数α\alpha

    • 准静态衰落:在传输一个代码字的过程中,α\alpha保持不变,并且从一个代码字到另一个代码字独立地变化。

    • 块衰落:α\alpha逐块变化

  • 假设发射机和接收机都知道衰落系数α\alpha,瞬时容量为

    C(αi)=Wlog2(1+αi2E(αi)WN0)C(\alpha_i)=W\mathrm{log}_2\left(1+\frac{\alpha_i^2\cdot E(\alpha_i)}{WN_0}\right)

    E(αi)E(\alpha_i):信号功率取决于αi\alpha_i,它是由特定衰落实现αi\alpha_i所定义的最大可实现传输速率。

  • 遍历容量:

    C=maxE(αi)E[Wlog2(1+αi2E(αi)WN0)]C=\max_{E(\alpha_i)}\mathbb{E}\left[W\mathrm{log}_2\left(1+\frac{\alpha_i^2\cdot E(\alpha_i)}{WN_0}\right)\right]

    它是所有衰落实现中可以实现的平均传输速率。

Last updated