信道容量的计算
§4、2 信道容量的计算
这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义,就就是在固定
信道的条件下,对所有可能的输入概率分布
)(xP
求平均互信息的极大值。前面已知
YXI ;
就 是 输 入 概 率 分 布 的 上 凸 函 数 , 所 以 极 大 值 一 定 存 在 。 而
);( YXI
就 是
r
个 变 量
)}(),(),({
21 r
xpxpxp
的多元函数。并且满足
1)(
1
r
i
i
xp
。所以可用拉格朗日乘子法来
计算这个条件极值。引入一个函数:
i
i
xpYXI )();(
解方程组
0
)(
])();([
)(
i
i
i
i
xp
xpYXI
xp
1)(
i
i
xp
(4、2、
1)
可以先解出达到极值的概率分布与拉格朗日乘子
的值,然后在解出信道容量
C
。因为
)(
)(
log)()();(
1 1
i
ii
ii
r
i
s
j
i
yp
xyQ
xyQxpYXI
而
)()()(
1
ii
r
i
ii
xyQxpyp
,所以
eeypyp
i
ii
ii
yp
xyQ
i
xp
i
xp
loglog))(ln()(log
)(
)(
)()(
。
解(4、2、1)式有
0log
)(
)(
)()(
)(
)(
log)(
1 11
e
yp
xyQ
xyQxp
yp
xyQ
xyQ
i
ii
ii
r
i
s
j
i
i
ii
s
j
ii
(对
ri ,,2,1
都成立)
又因为
)()()(
1
jkk
r
k
k
ypxyQxp
rixyQ
s
j
ij
,,2,1,1)(
1
所以(4、2、1)式方程组可以转化为
),,2,1(log
)(
)(
log)(
1
rie
yp
xyQ
xyQ
j
ij
s
j
ij
1)(
1
r
i
i
xp