ESC
输入关键词搜索文章
目录

绪论

通信原理 · 第一章
从数学基础到系统框图,从信号工具箱到信息度量
学习目标
🎯 学习目标

学完本章后,你应该能够:

  1. 掌握通信原理所需的数学工具(傅里叶级数、欧拉公式、概率论基础)
  2. 识别并绘制常用模拟信号与离散序列的波形
  3. 理解卷积积分与卷积和的图解计算过程
  4. 画出通信系统基本模型,解释每个方框的作用
  5. 区分模拟通信与数字通信,列举数字通信的优缺点
  6. 用信息量公式 $I = -\log_2 P(x)$ 计算离散信源的信息量
  7. 计算离散信源的熵 $H(x)$,理解其物理意义
  8. 熟练进行传码率 $R_B$ 与传信率 $R_b$ 的换算
定位
📍 本章在课程中的位置

绪论是整门课的"地图"与"工具箱"。前半部分梳理通信原理依赖的数学工具(傅里叶级数、概率论)和信号基础(冲激、阶跃、sinc、卷积),后半部分建立通信系统模型、信息度量与性能指标。后续所有章节——随机信号分析(第2章)、信道(第3章)、基带传输(第5章)等——都建立在本章的基础上。

前置知识

高等数学(微积分、级数)、线性代数(向量、矩阵)、概率论基础(概率、期望、方差)

第一节
一、通信原理数学基础

通信原理之所以对数学有较高要求,是因为它在三个层面上使用数学工具:信号表示需要傅里叶分析,噪声建模需要概率论与随机过程,系统分析需要卷积与线性系统理论。本节梳理后续章节最常用的数学工具,作为"随时查阅"的参考。

1.1 欧拉公式

欧拉公式是连接指数函数与三角函数的桥梁,在通信原理中频繁出现于傅里叶变换、调制解调、相位分析等所有涉及复数信号处理的场合。

$$\boxed{e^{j\theta} = \cos\theta + j\sin\theta}$$

由它可以直接得到两个重要变形:

$$\cos\theta = \frac{e^{j\theta} + e^{-j\theta}}{2}, \qquad \sin\theta = \frac{e^{j\theta} - e^{-j\theta}}{2j}$$
物理意义$e^{j\omega t}$ 在复平面上是一个旋转向量,它在实轴上的投影是 $\cos\omega t$,在虚轴上的投影是 $\sin\omega t$。在通信中,一个余弦波 $\cos(\omega_c t + \phi)$ 可以看作复指数 $e^{j(\omega_c t + \phi)}$ 的实部——这是所有调制解调分析的数学起点。

通信视角

在 QAM 调制中,发送信号常写成 $s(t) = \text{Re}\{A(t)e^{j(\omega_c t + \phi(t))}\}$。这里 $e^{j\omega_c t}$ 是载波,$A(t)$$\phi(t)$ 分别携带幅度与相位信息。欧拉公式让"幅度+相位"的联合调制变成了复平面上的向量运算,极大简化了分析。

1.2 傅里叶级数

任何周期信号都可以分解为一系列不同频率的正弦波的叠加。这是通信原理中"频域"概念的数学基础——调制就是频谱搬移,滤波就是频域选通。

三角形式

周期为 $T$ 的信号 $f(t)$ 满足 $f(t) = f(t + T)$,基频 $\omega_0 = 2\pi/T$

$$\boxed{f(t) = \frac{a_0}{2} + \sum_{k=1}^{\infty}\bigl(a_k\cos k\omega_0 t + b_k\sin k\omega_0 t\bigr)}$$

其中系数:

$$a_k = \frac{2}{T}\int_{0}^{T} f(t)\cos k\omega_0 t\,dt, \qquad b_k = \frac{2}{T}\int_{0}^{T} f(t)\sin k\omega_0 t\,dt$$
直觉:傅里叶级数告诉我们,一个看似复杂的周期信号,本质上是由一系列"纯正弦波"按不同权重组合而成的。这个想法贯穿通信原理始终——从调制(让信号乘上正弦波)到信道分析(看信道对不同频率的衰减)都建立在此基础上。

复指数形式

利用欧拉公式,三角形式可以改写为更紧凑的复指数形式:

$$\boxed{f(t) = \sum_{k=-\infty}^{\infty} c_k e^{jk\omega_0 t}}$$
$$c_k = \frac{1}{T}\int_{0}^{T} f(t)e^{-jk\omega_0 t}\,dt$$

复系数 $c_k$ 同时包含了幅度和相位信息,且 $c_{-k} = c_k^*$(实信号共轭对称)。

为什么需要复指数形式? 因为在通信系统中,我们经常需要同时处理幅度和相位(如 QAM、PSK),而复指数用一个系数就囊括了这两个维度,运算比三角形式简便得多。

1.3 傅里叶变换

当周期信号的周期 $T \to \infty$,傅里叶级数过渡为傅里叶变换,用于分析非周期信号:

$$\boxed{F(\omega) = \int_{-\infty}^{\infty} f(t)e^{-j\omega t}\,dt}, \qquad \boxed{f(t) = \frac{1}{2\pi}\int_{-\infty}^{\infty} F(\omega)e^{j\omega t}\,d\omega}$$

傅里叶变换揭示了信号的频谱(即信号在不同频率上的能量分布),这是通信中最核心的概念之一。以下几条性质在后续章节反复用到:

性质公式通信含义
线性$af(t)+bg(t) \iff aF(\omega)+bG(\omega)$叠加信号频谱相加
时移$f(t-t_0) \iff e^{-j\omega t_0}F(\omega)$时延不影响频谱幅度
频移(调制)$f(t)e^{j\omega_c t} \iff F(\omega-\omega_c)$调制就是把频谱搬移到高频
时域卷积$f(t)*g(t) \iff F(\omega)G(\omega)$时域卷积 = 频域相乘(滤波原理)
频域卷积$f(t)g(t) \iff \frac{1}{2\pi}F(\omega)*G(\omega)$时域相乘 = 频域卷积(调制本质)
Parseval$\int|f(t)|^2dt = \frac{1}{2\pi}\int|F(\omega)|^2d\omega$时域能量 = 频域能量

1.4 概率论基础

通信中遇到的噪声(热噪声、散弹噪声)本质上是随机过程。理解噪声对系统的影响,需要概率论工具。

概念数学表达通信中的应用
随机变量 $X$$F_X(x)=P(X\le x)$描述接收信号的幅度分布
概率密度 $f_X(x)$$f_X(x)=F_X'(x)$噪声幅度的统计描述
期望 $E[X]$$\int x f_X(x)dx$接收信号的直流分量
方差 $\text{Var}[X]$$E[(X-\mu)^2]$噪声功率(直接影响信噪比)
高斯分布$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/2\sigma^2}$热噪声的标准模型
联合分布$f_{XY}(x,y)$多径信道中多路信号的相关性
特别注意:高斯白噪声(AWGN)是通信原理中最基本的噪声模型。它的特点是:①幅度服从高斯分布;②功率谱密度在整个频域均匀分布(白色)。第2章会对随机信号做系统分析。

1.5 信号的基本分类

贯穿通信原理始终的分类维度:

分类维度类型示例
时间连续性连续时间 / 离散时间$x(t)$ vs $x[n]$
幅度取值模拟 / 数字电压连续 vs 0/1 电平
周期性周期 / 非周期$\sin\omega t$ vs 单个脉冲
能量/功率能量信号 / 功率信号单脉冲 vs 正弦波

本节参考来源

第二节
二、常用模拟信号及性质

这里的"模拟信号"指的是连续时间常用信号,是后续所有波形分析的积木。它们用于描述开关、脉冲、取样、窗口截断和理想化瞬时作用。

2.1 单位冲激信号 $\delta(t)$

单位冲激不是普通函数,而是广义函数。可以把它理解成"宽度无限窄、幅度无限高、面积等于 1"的理想脉冲。

$$\delta(t)=0\quad(t\ne 0),\qquad \int_{-\infty}^{\infty}\delta(t)\,dt=1$$
筛选性质:冲激最重要的作用是从积分中"挑出"某一点的函数值。
$$\int_{-\infty}^{\infty}x(t)\delta(t-t_0)\,dt=x(t_0)$$

移位冲激 $\delta(t-t_0)$ 位于 $t=t_0$;加权冲激 $A\delta(t-t_0)$ 的面积是 $A$

单位冲激信号示意JSXGraph
单位冲激信号示意

2.2 单位阶跃信号 $u(t)$

单位阶跃表示"从某一时刻开始打开"。它常用于描述系统输入突然接通、信号从某时刻开始存在。

$$u(t)=\begin{cases}0,&t<0\\1,&t>0\end{cases}$$

$u(0)$ 的取值在不同教材中可能取 $0$$1$$\frac12$,一般不影响连续时间积分结果。

$$\frac{d}{dt}u(t)=\delta(t),\qquad \int_{-\infty}^{t}\delta(\tau)d\tau=u(t)$$
单位阶跃信号 u(t)JSXGraph
单位阶跃信号 u(t)

2.3 符号函数 $\operatorname{sgn}(t)$

符号函数只保留正负号信息:

$$\operatorname{sgn}(t)=\begin{cases}-1,&t<0\\0,&t=0\\1,&t>0\end{cases}$$

它和单位阶跃函数之间有简单关系:

$$\operatorname{sgn}(t)=2u(t)-1$$
符号函数 sgn(t)JSXGraph
符号函数 sgn(t)

2.4 抽样函数 $\operatorname{sinc}(t)$

通信与信号处理中常见两种 sinc 定义,使用时必须先看教材约定。

名称定义零点
归一化 sinc$\operatorname{sinc}(t)=\dfrac{\sin \pi t}{\pi t}$$t=\pm1,\pm2,\cdots$
非归一化 sinc$\operatorname{Sa}(t)=\dfrac{\sin t}{t}$$t=\pm\pi,\pm2\pi,\cdots$

在抽样定理、理想低通滤波器冲激响应、带限插值中,sinc 是核心函数。

归一化抽样函数 sinc(t)JSXGraph
归一化抽样函数 sinc(t)

2.5 矩形窗函数 $\operatorname{rect}(t/T)$

矩形窗表示有限持续时间的开关。常见定义为:

$$\operatorname{rect}\left(\frac{t}{T}\right)=\begin{cases}1,&|t|<\frac{T}{2}\\0,&|t|>\frac{T}{2}\end{cases}$$

边界点 $|t|=T/2$ 的取值常取 $\frac12$,用于保持傅里叶变换对称性。

矩形窗函数 rect(t/2)JSXGraph
矩形窗函数 rect(t/2)

2.6 三角波函数 $\operatorname{tri}(t/T)$

三角函数可以看作两个等宽矩形窗卷积后的形状。常见定义为:

$$\operatorname{tri}(t)=\begin{cases}1-|t|,&|t|<1\\0,&|t|\ge 1\end{cases}$$

它的峰值在原点,向两侧线性下降。很多"两个矩形脉冲卷积"的结果都会出现三角形。

三角函数 tri(t)JSXGraph
三角函数 tri(t)
信号核心性质常见用途
$\delta(t)$面积为 1,筛选函数值冲激响应、抽样、理想化瞬时输入
$u(t)$$u'(t)=\delta(t)$开关、因果信号表示
$\operatorname{sgn}(t)$$\operatorname{sgn}(t)=2u(t)-1$符号判决、奇偶分析
$\operatorname{sinc}(t)$带限插值核心函数抽样定理、理想低通滤波
$\operatorname{rect}(t/T)$有限时间截断脉冲、窗函数、门控
$\operatorname{tri}(t)$矩形窗自卷积形状卷积结果、插值核、相关函数
第三节
三、连续信号卷积积分

连续时间 LTI 系统的零状态响应由输入 $x(t)$ 和冲激响应 $h(t)$ 的卷积决定:

$$y(t)=x(t)*h(t)=\int_{-\infty}^{\infty}x(\tau)h(t-\tau)d\tau$$

这条公式可以拆成一个图解过程:

  1. 换元:把 $x(t)$$h(t)$ 改写成 $x(\tau)$$h(\tau)$
  2. 翻转:把 $h(\tau)$ 变成 $h(-\tau)$
  3. 平移:把 $h(-\tau)$ 平移为 $h(t-\tau)$$t$ 是观察时刻,不是积分变量。
  4. 相乘:找 $x(\tau)$$h(t-\tau)$ 的重叠区间。
  5. 积分:在重叠区间内计算面积 $\int x(\tau)h(t-\tau)d\tau$
直觉:卷积积分不是把两个函数简单相乘,而是让一个函数作为"滑动模板"扫过另一个函数,每一个 $t$ 都得到一次重叠面积。

3.1 常用性质

性质公式意义
交换律$x(t)*h(t)=h(t)*x(t)$谁翻转平移都可以,结果一样
结合律$x*(h_1*h_2)=(x*h_1)*h_2$级联系统可合并冲激响应
分配律$x*(h_1+h_2)=x*h_1+x*h_2$并联系统响应可相加
冲激单位元$x(t)*\delta(t)=x(t)$冲激不改变信号
移位冲激$x(t)*\delta(t-t_0)=x(t-t_0)$卷积移位冲激只产生延迟
微分性质$\dfrac{d}{dt}[x*h]=x'*h=x*h'$可把微分转移到任一因子

3.2 例:两个单位宽矩形窗的卷积

$x(t)=\operatorname{rect}(t)$$h(t)=\operatorname{rect}(t)$,两个宽度为 1 的矩形窗卷积。随着一个矩形滑过另一个矩形,重叠长度先线性增加再线性减少,因此结果是三角形:

$$\operatorname{rect}(t)*\operatorname{rect}(t)=\operatorname{tri}(t)$$

这个例子说明:卷积结果的形状,本质上来自两个信号重叠面积如何随 $t$ 改变。

第四节
四、常用序列信号及性质

离散时间信号写作 $x[n]$,自变量 $n$ 只取整数。连续时间中的冲激、阶跃、矩形窗都有离散版本。

4.1 单位样值序列 $\delta[n]$

$$\delta[n]=\begin{cases}1,&n=0\\0,&n\ne0\end{cases}$$
单位样值序列 δ[n]JSXGraph
单位样值序列 δ[n]

它是离散卷积的单位元:

$$x[n]*\delta[n]=x[n],\qquad x[n]*\delta[n-n_0]=x[n-n_0]$$

筛选性质为:

$$\sum_{n=-\infty}^{\infty}x[n]\delta[n-n_0]=x[n_0]$$

4.2 单位阶跃序列 $u[n]$

$$u[n]=\begin{cases}1,&n\ge0\\0,&n<0\end{cases}$$
单位阶跃序列 u[n]JSXGraph
单位阶跃序列 u[n]

它可以看作从 $n=0$ 开始一直为 1 的序列。单位样值和单位阶跃有差分关系:

$$\delta[n]=u[n]-u[n-1]$$
$$u[n]=\sum_{k=-\infty}^{n}\delta[k]$$

4.3 矩形窗序列 $R_N[n]$

长度为 $N$ 的矩形窗序列常定义为:

$$R_N[n]=\begin{cases}1,&0\le n\le N-1\\0,&\text{其他}\end{cases}$$
矩形窗序列 R₅[n]JSXGraph
矩形窗序列 R₅[n]

也可用阶跃序列表达:

$$R_N[n]=u[n]-u[n-N]$$
序列定义性质
$\delta[n]$$n=0$ 时为 1,其余为 0离散卷积单位元,具有筛选性质
$u[n]$$n\ge0$ 时为 1$\delta[n]=u[n]-u[n-1]$
$R_N[n]$$0\le n\le N-1$ 时为 1$R_N[n]=u[n]-u[n-N]$
第五节
五、离散卷积和

离散时间 LTI 系统的输出由卷积和给出:

$$y[n]=x[n]*h[n]=\sum_{k=-\infty}^{\infty}x[k]h[n-k]$$

它和连续卷积积分完全平行:连续情况把重叠部分"积分成面积",离散情况把重叠样值"相乘后求和"。

5.1 图解法:翻转、平移、相乘、求和

  1. 换元:写出 $x[k]$$h[k]$
  2. 翻转:把 $h[k]$ 变成 $h[-k]$
  3. 平移:得到 $h[n-k]$
  4. 找重叠:判断哪些 $k$ 同时让 $x[k]$$h[n-k]$ 非零。
  5. 相乘求和:把重叠点上的乘积加起来。
记忆:连续卷积是"重叠面积",离散卷积是"重叠乘积和"。

5.2 表格滑动法

当两个有限长序列较短时,可以把其中一个序列翻转后在另一个序列上滑动,每滑动一个位置就把对齐项相乘求和。这个方法直观,但容易漏项;适合检查支持区间和边界。

5.3 竖式乘法法

如果把有限长序列看成多项式系数,离散卷积就等价于多项式乘法。设:

$$x[n]=\{1,2,1\},\qquad h[n]=\{1,1\}$$

对应多项式:

$$X(z)=1+2z+z^2,\qquad H(z)=1+z$$

竖式乘法:

      1 + 2z + z²
×         1 + z
----------------
      1 + 2z + z²
  z + 2z² + z³
----------------
      1 + 3z + 3z² + z³

所以卷积结果为:

$$y[n]=\{1,3,3,1\}$$

5.4 直接求和核对

按定义:

$$y[n]=\sum_k x[k]h[n-k]$$
$n$非零乘积$y[n]$
0$x[0]h[0]=1\cdot1$1
1$x[0]h[1]+x[1]h[0]=1\cdot1+2\cdot1$3
2$x[1]h[1]+x[2]h[0]=2\cdot1+1\cdot1$3
3$x[2]h[1]=1\cdot1$1

5.5 长度规律

$x[n]$ 长度为 $L_x$$h[n]$ 长度为 $L_h$,且都从 0 开始,则线性卷积长度为:

$$L_y=L_x+L_h-1$$

这个规律可以用来快速检查是否漏算了首尾项。

第六节
六、通信基本知识

6.1 什么是通信?

通信(Communication)的本质是传输消息、交流信息。当用电信号来处理和传输时,就是电信(Telecommunication)。

通信的发展经历了五个阶段:

阶段代表
古代烽火台、语言
文字时代文字发明、邮政
近代电报、电话
现代电视、广播、Email
信息社会多媒体、互联网

6.2 通信系统分类

分类维度类型
按信号特征模拟通信 / 数字通信
按传输媒介有线通信 / 无线通信
按工作频段基带传输 / 频带传输
按复用方式频分复用(FDM)/ 时分复用(TDM)/ 码分复用(CDM)
按调制方式调幅(AM)/ 调频(FM)/ 调相(PM)等

6.3 通信方式

方向和时间关系分:

方式定义例子
单工消息只能单向传输遥测、遥控、GPS广播
半双工双方都能收发,但不能同时进行无线对讲机("over" 后对方才能说话)
全双工双方可同时收发普通电话

传输顺序分:

  • 串行传输:数据一位一位顺序传输(成本低,适合长距离)
  • 并行传输:数据多位同时传输(速度快,适合短距离,如计算机内部总线)
第七节 · 核心
七、通信系统框图 ⭐

7.1 通信系统的一般模型

通信系统:通信中所需要的一切技术设备和传输媒质构成的总体。

最通用的模型是一条五元链路——无论模拟还是数字通信,都遵循这个基本框架:

$$\boxed{\text{信源}} \xrightarrow{\text{原始信号}} \boxed{\text{发送设备}} \xrightarrow{\text{已调信号}} \boxed{\text{信道(+噪声)}} \xrightarrow{\text{接收信号}} \boxed{\text{接收设备}} \xrightarrow{} \boxed{\text{信宿}}$$

各模块的功能:

模块功能通俗理解
信源将消息转换为电信号你说话,话筒把声音变成电信号
发送设备将信号处理并匹配信道(如调制)把信号"打包"成适合传输的形式
信道信号传输的媒质 + 噪声引入电缆、光缆、无线电波——信号的"公路"
接收设备解调、解码,恢复原始信号拆开包裹,还原消息
信宿接收消息耳机里听到的声音
关键理解:信道的固有特性和干扰特性,直接决定了我们应该选用什么样的调制方式和编码方案。信道是"因",调制编码是"果"。

7.2 模拟通信系统模型

信道中传输的是模拟信号(时间连续、幅度连续)。模型简化为:

$$\text{信源} \to \text{调制器} \to \text{信道} \to \text{解调器} \to \text{信宿}$$
  • 基带信号:未经调制的原始信号(频谱从零频开始)
  • 频带信号(已调信号):经调制后的信号,具有两大特征——①携带有消息;②适应在信道中传输
为什么需要调制? 就像寄快递——原始信号太小、太弱,不适合直接"上路";调制相当于把小包裹装进标准化的大箱子里,方便传输。

7.3 数字通信系统模型

信道中传输的是数字信号(时间离散、幅度离散)。模型比模拟系统多出了编码环节:

flowchart LR
    A[信源] --> B[信源编码 A/D转换+压缩]
    B --> C[信道编码 抗干扰冗余]
    C --> D[数字调制]
    D --> E[信道 +噪声源]
    E --> F[数字解调]
    F --> G[信道译码 检错/纠错]
    G --> H[信源译码 D/A转换]
    H --> I[信宿]
    style E fill:#f0f0f0,stroke:#999,stroke-width:1
  
PDF模拟通信与数字通信系统模型p.2

pdf/通信原理/第一章.pdf · p.2

打开原文

各编码模块的功能:

模块功能对系统的影响
信源编码①完成 A/D 转换;②压缩数据降低冗余提高有效性——减少传输量
信道编码按规则添加保护成分,组成抗干扰编码提高可靠性——可检错/纠错
数字调制将基带频谱搬移到高频处形成带通信号使信号与信道特性匹配
同步保证收发双方节拍一致系统正常工作的前提,贯穿始终

7.4 数字通信的优缺点

优点解释
抗干扰能力强数字信号可以"再生中继"——沿途把失真的信号还原为 0/1,噪声不会累积
传输差错可控信道编码可以检错甚至纠错
便于数字信号处理DSP 芯片可以高效处理数字信号(大哥大→智能手机的飞跃)
易于加密数字信号天然适合加密算法
可综合传递各种消息语音、图像、数据统一为 0/1 流
缺点解释
对同步要求高收发双方必须严格同步(位同步、帧同步等)
占据更宽的带宽一路模拟电话仅需 4kHz,同等质量的数字电话需数十 kHz
虽然数字信号占带宽更大,但由于编码和复用技术的优势,数字通信系统的总容量通常更大。
第八节 · 核心
八、信息及其度量 ⭐

8.1 从直觉到公式:为什么需要度量信息?

日常生活中,"信息"是个模糊的概念。但在通信工程中,我们需要精确量化信息,才能计算信道容量、比较系统效率。

Hartley 和 Shannon 从消息的统计特性出发,给出了关键洞察:

  • 事件越不可能发生,它发生时带来的信息量越大。(太阳从东边升起 → 信息量 ≈ 0;某冷门球队夺冠 → 信息量很大)
  • 必然事件的信息量为 0。
  • 多个独立事件的信息量 = 各事件信息量之和。

这三条直觉,直接导出了信息量的数学定义。

PDF信息量与信息度量p.3

pdf/通信原理/第一章.pdf · p.3

打开原文

8.2 离散信源的信息量

设离散信源输出符号 $x_j$,出现概率为 $P(x_j)$

单一符号的信息量

$$\boxed{I(x_j) = -\log_a P(x_j)}$$
为什么是负对数?
  • $P(x_j)$ 越小 → $-\log P(x_j)$ 越大 → 信息量越大 ✓
  • $P(x_j) = 1$(必然事件)→ $-\log 1 = 0$ → 信息量为 0 ✓
  • 两个独立事件同时发生 → $P = P_1 \cdot P_2$$-\log(P_1 P_2) = -\log P_1 - \log P_2$ → 信息量相加 ✓

单位取决于对数的底:

底数 $a$单位
2比特(bit)——最常用
$e$奈特(nat)
10哈特莱(Hartley)

通信中默认以 2 为底,单位为 bit。如无特殊说明,$\log$$\log_2$

【例题 1】

设信源有四个符号 A、B、C、D,概率分别为 $\frac{1}{2}, \frac{1}{4}, \frac{1}{8}, \frac{1}{8}$,求发送符号 D 时的信息量。

$$I(D) = -\log_2 \frac{1}{8} = -\log_2 2^{-3} = 3 \text{ bit}$$

小概率事件带来大信息量——概率 $\frac{1}{8}$ 等价于"三个独立等概二进制符号"的信息量。

8.3 随机序列的信息量

若一条消息由 $N$ 个符号组成,其中符号 $x_j$ 出现了 $n_j$ 次,且各符号相互独立,则该消息的总信息量为:

$$\boxed{I_{\text{总}} = -\sum_{j=1}^{k} n_j \log_2 P(x_j)}$$
这其实就是各符号信息量的加权求和,权重就是该符号出现的次数。

【例题 2】

某信源符号集 $\{0, 1\}$$P(0) = \frac{3}{4}$$P(1) = \frac{1}{4}$,发送了 100 个符号的序列,其中 0 出现约 75 次,1 出现约 25 次,求该序列的总信息量。

$$I_{\text{总}} = -75 \times \log_2\frac{3}{4} - 25 \times \log_2\frac{1}{4} = -75 \times (-0.415) - 25 \times (-2) = 31.1 + 50 = 81.1 \text{ bit}$$

8.4 离散信源的熵(平均信息量)

单看一条消息的信息量还不够——我们更关心信源的统计平均信息量,即平均每个符号携带多少信息。这就是香农熵

$$\boxed{H(x) = -\sum_{i=1}^{k} P(x_i) \log_2 P(x_i) \quad (\text{bit/符号})}$$
类比理解:就像骰子的"平均点数"——每个面出现的概率不同时,期望值反映的是"长期平均"。熵也是一样:它衡量的是这个信源"平均每个符号能提供多少信息量"。
PDF离散信源的熵p.4

pdf/通信原理/第一章.pdf · p.4

打开原文

熵的性质

  1. 非负性$H(x) \geq 0$(概率在 0~1 之间,$-\log P \geq 0$,加权求和当然非负)
  2. 上凸性$H(x)$$P(x)$ 的上凸函数(概率分布越均匀,熵越大)
  3. 最大熵:当所有符号等概出现 $P(x_i) = \frac{1}{k}$ 时,熵取最大值:
$$\boxed{H_{\max} = \log_2 k \quad (\text{bit/符号})}$$
直觉:等概 = 最大不确定性 = 最大信息量。这和日常经验一致——如果所有结果都一样可能,你就最"猜不准"结果,收到结果时获得的"惊喜"也最大。

【例题 3】

求例题 1 中信源的熵。

$$H(x) = -\frac{1}{2}\log_2\frac{1}{2} - \frac{1}{4}\log_2\frac{1}{4} - \frac{1}{8}\log_2\frac{1}{8} - \frac{1}{8}\log_2\frac{1}{8} = \frac{1}{2}(1) + \frac{1}{4}(2) + \frac{1}{8}(3) + \frac{1}{8}(3) = 1.75 \text{ bit/符号}$$

而等概时最大熵为 $\log_2 4 = 2$ bit/符号。因为该信源不均匀(A 出现概率高,"不意外"),所以熵小于最大值。

8.5 M 进制波形与二进制的关系

设需要传递 $M$ 个等概消息之一,$P(x) = \frac{1}{M}$

  • M 进制波形:1 个波形即可传递,信息量为 $I = \log_2 M$ bit
  • 二进制波形:需要 $K = \log_2 M$ 个波形,每个 1 bit,总信息量也是 $K$ bit

结论:一个 M 进制波形携带的信息量 = $\log_2 M$ 个二进制波形的信息量。

第九节 · 核心
九、主要性能指标 ⭐

通信系统的两大核心目标:

目标含义类比
有效性传输速度——给定信道能传多少信息快递的"发货速度"
可靠性传输质量——接收信息有多准确快递的"完好率"

9.1 传码率(码元速率)$R_B$

$$\boxed{R_B = \frac{1}{T_B} \quad (\text{Baud,波特})}$$
  • $T_B$:每个码元的持续时间(秒)
  • 定义:每秒传送的码元数目
  • 单位:波特(Baud, B)
注意:Baud 是码元速率的单位,不是比特率!很多教材和工程师会混用,但它们只有在二进制时才相等。

9.2 传信率(信息速率)$R_b$

$$\boxed{R_b = R_B \cdot \log_2 N \quad (\text{bit/s})}$$
  • 定义:每秒传送的信息量
  • $N$:码元的进制数
  • 单位:比特/秒(bit/s, bps)

关键换算

进制码元速率 → 信息速率
二进制($N=2$$R_b = R_B$
四进制($N=4$$R_b = 2R_B$
八进制($N=8$$R_b = 3R_B$
本质:一个 N 进制码元携带 $\log_2 N$ bit 的信息。进制越高,每个码元"装"的信息越多。

【例题 4】

八进制系统码元速率为 1200 Baud,求信息速率。

$$R_b = R_B \times \log_2 8 = 1200 \times 3 = 3600 \text{ bit/s}$$

反向理解:这相当于二进制系统在 3600 Baud 时的传信率。

PDF传码率与传信率p.5

pdf/通信原理/第一章.pdf · p.5

打开原文

9.3 频带利用率 $\eta$

$$\boxed{\eta = \frac{R_b}{B} \quad (\text{bit/(s·Hz)})}$$
  • $B$:系统带宽(Hz)
  • 衡量的是每 Hz 带宽能传多少 bit/s
  • 同样带宽下,$\eta$ 越大,系统越"高效"

9.4 误码率与误信率

$$\boxed{P_e = \frac{\text{错误码元数}}{\text{传输总码元数}}}$$
$$\boxed{P_b = \frac{\text{错误比特数}}{\text{传输总比特数}}}$$
  • 二进制中:$P_e = P_b$(一个码元就是一个比特)
  • 多进制中:$P_b < P_e$(一个码元错不一定所有比特都错)

典型要求

业务误比特率要求
PCM 数字语音$P_e < 10^{-3}$
数据传输$P_e < 10^{-6}$
数据对误码率的要求比语音高得多——因为人耳有一定的容错能力(少量误码听不出来),但数据中一个 bit 错了可能导致整个文件损坏。
速查
🔖 复习速查表

常用信号与卷积

信号/运算定义一句话记忆
$\delta(t)$$\int \delta(t)dt=1$$t\ne0$ 时为 0面积为 1 的理想脉冲
$u(t)$$t<0$ 时为 0,$t>0$ 时为 1$u'(t)=\delta(t)$
$\operatorname{sinc}(t)$$\sin\pi t / \pi t$带限插值核心
卷积积分$x(t)*h(t)=\int x(\tau)h(t-\tau)d\tau$滑动重叠面积
离散卷积$y[n]=\sum_k x[k]h[n-k]$滑动重叠乘积和
卷积长度$L_y = L_x + L_h - 1$有限长卷积的长度规律

信息论与性能指标

公式含义关键条件
$I = -\log_2 P(x)$单个符号的信息量底为 2 时单位为 bit
$I_{\text{总}} = -\sum n_j \log_2 P(x_j)$随机序列总信息量各符号独立
$H = -\sum P(x_i)\log_2 P(x_i)$离散信源熵(平均信息量)单位:bit/符号
$H_{\max} = \log_2 k$最大熵等概,$k$ 个符号
$R_B = 1/T_B$码元速率单位:Baud
$R_b = R_B \cdot \log_2 N$信息速率$N$ 进制
$\eta = R_b / B$频带利用率单位:bit/(s·Hz)
$P_e$ / $P_b$误码率 / 误信率二进制时 $P_e = P_b$
一句话总结本章:首先备好数学工具(傅里叶级数与概率论)与信号工具箱(冲激、阶跃、sinc、卷积);然后构建通信系统模型——"信源→编码/调制→信道→解调/译码→信宿"的链路;最后用信息量来量化信息,用传码率/传信率来衡量速度,用误码率来衡量质量——这些工具将在后续章节反复使用。

参考来源