通信原理信息论

信息量$I$单位(bit)

$I=-log_2 P(x)$

平均信息量(或熵)$H(x)$单位(b/符号)

描述信源的不确定性：

$H(x)=-\sum_{i=1}^M P(x_i)log_2 P(x_i)$

当每个符号等概率$P(x_i)=1/M$独立出现时，不确定性最大，此时熵为：

$H_{max}=log_2M$

总信息量

$I=n\cdot H(x)$

有效性和可靠性

• 对于模拟信号：

1、有效性：信号带宽

2、 可靠性：输出信噪比$\frac{S_o}{N_o}$

• 对于数字信号：

1、有效性：

• 频带利用率(单位带宽内传输速率)

$\eta =\frac{R_B}{B} \qquad \qquad (Baud/Hz)$

$\eta_{b} =\frac{R_b}{B} \qquad \qquad ((bit/s)/Hz)$

其中$R_B$为传码率，仅仅取决于每个码元持续时间(码元宽度)$T_B$:

$R_B=\frac{1}{T_B} \qquad (Baud)$

$R_b$为传信率，在符号等概率出现时有

$R_b =R_Blog_2M$

2、 可靠性：输出信噪比$\frac{S_o}{N_o}$

• 误码率：

$P_e=\frac{错误接收的码元数}{传输的总码元数}=\frac{N_e}{N}$

• 误信率：

$P_b=\frac{错误接收的比特数}{传输的总比特数}=\frac{I_e}{I}$

关系：二进制时，有$P_b=P_e$,
$M$进制时，$P_b < P_e$