1、 2.1 离散信源与模拟信源离散信源与模拟信源 电信学院刘金电信学院刘金铸铸第 2 章 信源编码 第 2 章 信源编码 2.1 离散信源与模拟信源离散信源与模拟信源 一、离散信源 一、离散信源 12,LXxxx。 例子：输出符合序列取自符号集：例子：输出符合序列取自符号集： 1/3统计规律：每符号出现概率。统计规律：每符号出现概率。,1kk,2,PP xkL1LkkP。 。 2.1 离散信源与模拟信源离散信源与模拟信源 电信学院刘金电信学院刘金铸铸kkx 2/3信源表达：信源表达：P kx表示符号。一种区分。无大小。表示符号。一种区分。无大小。 但编码时，赋予数值但编码时，赋予数值 0,1,2
2、，L。引入数学运算，伽罗华域运算。集中元素数量有限。引入数学运算，伽罗华域运算。集中元素数量有限。 3/3电信学院刘金电信学院刘金铸铸2.1 离散信源与模拟信源离散信源与模拟信源 具有输出波形具有输出波形 ( )x t ，是随机过程的一个样本函数。，是随机过程的一个样本函数。 ( )X t抽样定理：抽样定理：2sfW。：。：W( )x t 的最高频率。的最高频率。 抽样抽样 ( )( )x tx n。时间离散的随机变量。时间离散的随机变量。 注意注意 ( )x t 、的概念。、的概念。 ( )X t抽样及抽样定理抽样及抽样定理 二、模拟信源 二、模拟信源 例如：语音。例如：语音。 2.2 信息
3、的对数量度信息的对数量度 电信学院刘金电信学院刘金铸铸2.2 信息的对数量度信息的对数量度 （两个问题。另一个，互信息。放在信道中阐述）（两个问题。另一个，互信息。放在信道中阐述） 一、离散信源输出符号的自信息量 一、离散信源输出符号的自信息量 2()logkI x1()kP x 自信息量的意义和实质。符号出现的不确定度。自信息量的意义和实质。符号出现的不确定度。 与通常所说的“信息”意义的区别。与通常所说的“信息”意义的区别。 为何取对数：为何取对数： 1/3()k0P x1，。，。I()k0I 。 P x ， 2.2 信息的对数量度信息的对数量度 电信学院刘金电信学院刘金铸铸独立符号序列，
4、信息量相加。独立符号序列，信息量相加。12I aI a1I12I a a。 bit。故以。故以 2 为底。为底。 独立等概二进制符号序列，每符号独立等概二进制符号序列，每符号二、离散信源的信息熵 二、离散信源的信息熵 1loLkkk2gH XP x P x 物理意义：物理意义：H XX0.01是信源中每符号的平均信息量。是信源中每符号的平均信息量。 例：例： 120.99Xxx2gP x。 1loLkkkH XP x P x=0.08 bit。 2/3 3/3电信学院刘金电信学院刘金铸铸2.2 信息的对数量度信息的对数量度 再例：离散无记忆的扩展信源：二进制信源扩展为四进制信源。再例：离散无记
5、忆的扩展信源：二进制信源扩展为四进制信源。 结论：符号等概时，信源具有最大的信息熵，即平均不确定度最大。结论：符号等概时，信源具有最大的信息熵，即平均不确定度最大。 三、连续随机变量（模拟信源输出）的信息量度 三、连续随机变量（模拟信源输出）的信息量度 120.50.5XxxP x。 21logLkkkH XP xP x=1 bit。 2-logH Xp xp x dx 差熵差熵 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸2.3 离散信源编码离散信源编码 任务：用尽量短的二进制符号序列表示信源输出符号序列。符号系统的准换。任务：用尽量短的二进制符号序列表示信源输出符号序列。
6、符号系统的准换。 这里，仅讨论离散无记忆信源的编码。最简单的情况。这里，仅讨论离散无记忆信源的编码。最简单的情况。 一、固定长度编码（等长编码） 一、固定长度编码（等长编码） 信源符号集：信源符号集：12,LXx xx2log。 编码方法：为每个符号指定唯一的编码方法：为每个符号指定唯一的 R 位二进制数字符串与之对应。这个二进制字符串称为“码字” 。位二进制数字符串与之对应。这个二进制字符串称为“码字” 。 1） 是） 是 2 的幂时，的幂时，LRL2g1。 2） 不是） 不是 2 的幂时，的幂时，LloRL。 1/13 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸 RHx
7、 。 可见，可见， /cH 2/13编码效率的定义：编码效率的定义：xR。 是是 2 的幂，且各符号等概出现时，的幂，且各符号等概出现时，L100%cJ。 L很小时，可对 个符号的序列进行编码，以提高编码效率。信源扩展。很小时，可对 个符号的序列进行编码，以提高编码效率。信源扩展。 二、变长编码（不等长编码） 二、变长编码（不等长编码） 如果信源符号出现不等概，不等长编码更有效。如果信源符号出现不等概，不等长编码更有效。 最早的例子：莫尔斯码。最早的例子：莫尔斯码。 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸例：例： 121124341188xxxXP xx。变长编码方案：
8、。变长编码方案： k符号符号 x编码编码 I 编码编码 II 编码编码 IIIP 1/2 1 0 0 1x 1/4 00 10 01 2x 1/8 01 110 011 3x 1/8 10 111 111 4x 3/13 4/13电信学院刘金电信学院刘金铸铸2.3 离散信源编码离散信源编码 编码方案编码方案 I：不能用。非唯一可译。或存在译码延迟（根据后面的内容确定译码）举例：收到：不能用。非唯一可译。或存在译码延迟（根据后面的内容确定译码）举例：收到：001001。 编码方案编码方案 II：立即可译，且唯一可译。：立即可译，且唯一可译。 前缀条件：没有一个码字，是另一码字的前缀。前缀条件：没
9、有一个码字，是另一码字的前缀。 编码方案编码方案 III：唯一可译，但非立即可译。因不满足前缀条件。：唯一可译，但非立即可译。因不满足前缀条件。 性能指标：编码效率。性能指标：编码效率。 /cH xR 为信源符号编码后，码字的平均为信源符号编码后，码字的平均 bit 数。数。 R其中其中k 1Lkkn P x。 R 5/13电信学院刘金电信学院刘金铸铸2.3 离散信源编码离散信源编码 三、变长编码的霍夫曼（Huffman）编码算法 三、变长编码的霍夫曼（Huffman）编码算法 1952，霍夫曼。，霍夫曼。 最优：满足前缀条件。信源符号编码后，平均最优：满足前缀条件。信源符号编码后，平均 bi
10、t 数最小。数最小。 当然，立即，唯一可译。当然，立即，唯一可译。 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸例例 1：12,LXx xx 6/13 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸 7/13 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸另一种编码方法：另一种编码方法： 8/13 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸 9/13 10/13电信学院刘金电信学院刘金铸铸2.3 离散信源编码离散信源编码 例例 2：8 符号信源。符号信源。 2.3 离散信源编码离散信源编码 电信学院刘金电信学院刘金铸铸 11
11、/13 12/13电信学院刘金电信学院刘金铸铸2.3 离散信源编码离散信源编码 例例 3：信源扩展霍夫曼编码。：信源扩展霍夫曼编码。 13/13电信学院刘金电信学院刘金铸铸2.3 离散信源编码离散信源编码 其他：如信源编码定理，略。其他：如信源编码定理，略。 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸2.4 模拟信源编码模拟信源编码 目标：目标： ( )x t二进制序列。二进制序列。 性能：性能：1）失真度。）失真度。2）符号速率。）符号速率。 一、 时间波形编码 一、 时间波形编码 1. 脉冲编码调制 1. 脉冲编码调制 以语音编码为例。编码器：以语音编码为例。编码器：
12、( )x t( )x n( )x n( )C n 1/15 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸1）抽样）抽样 抽样速率。抽样定理抽样速率。抽样定理 语音信号的抽样速率。语音信号的抽样速率。8000 样值样值/秒。秒。 2）量化）量化 ( )x t 在在mmAA之间连续取值。无法用有限位二进制数精确表示。之间连续取值。无法用有限位二进制数精确表示。 在在mmAA之间，取之间，取M 个等间隔的电平值量化电平。间隔个等间隔的电平值量化电平。间隔2mAM 。2 2/15mA =1，则，则1M )。 量化：以最接近的量化电平值量化：以最接近的量化电平值 (x n( )代替代替
13、n 。 xM 值的确定原则：语音。值的确定原则：语音。256. 误差，位数。误差，位数。 3/15电信学院刘金电信学院刘金铸铸2.4 模拟信源编码模拟信源编码 量化噪声：量化噪声： ( )( )( )x nx nqn( )q nq。为量化噪声。为量化噪声。 的概率分布：的概率分布：1( )22p qq。均匀分布。均匀分布。 可求量化误差的均方值，误差大小的度量。练习。可求量化误差的均方值，误差大小的度量。练习。22/122E q 2/12R 3）编码）编码 RR位二进制码，映射。位二进制码，映射。 2M ，用，用64/kb ssymsff R 语音：符号速率。为什么叫语音：符号速率。为什么叫
14、PCM 编码。编码。 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸 4/15例题：语音编码。例题：语音编码。8256R22M 。( )x n取值范围：取值范围：1122。若。若(1000)0.26x。编码结果？量化噪声？。编码结果？量化噪声？ (1000)1000)C(q解：解： （1）M个量化电平的取值个量化电平的取值 若若)(x n取值范围：取值范围：1，则：，则： 0 M个量化电平为：个量化电平为：,0,1,2mLmm,M1。其中。其中1 M（以（以M=4 为例，图示）为例，图示） 现现( )x n取值范围取值范围1122，则：，则： 个量化电平为：个量化电平为：1,0
15、M,1,22mLmmM10.26。 （2）数值量化。与哪个量化电平值最接近？）数值量化。与哪个量化电平值最接近？ a 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸 5/15设， 其 中设， 其 中kLaq22q。 则 ：。 则 ：122kaq， 或， 或/22Mkaq /2aqk 一定是整数。一定是整数。 /2Roundak 。 （取最接近的整数）。 （取最接近的整数） 于是，步骤如下：于是，步骤如下： /2Roundak ， 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸66.066610.262 256RoundRound1256k 6/1566 1282
16、194Mkk(1000)C。 编码：编码：194 对应的二进制数：对应的二进制数：194=128+64+2. =11000010 量化电平：量化电平：122410kLk (1000)q=0.262.34kL 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸4）非均匀量化及实现）非均匀量化及实现 许多信源信号，小幅度发生概率大。许多信源信号，小幅度发生概率大。 而均匀量化，量化噪声都相同。小幅度时，量化信噪比太小。而均匀量化，量化噪声都相同。小幅度时，量化信噪比太小。 信号先经非线形处理，压缩器。再进行均匀量化。信号先经非线形处理，压缩器。再进行均匀量化。 译码时，扩展器。恢复。译
17、码时，扩展器。恢复。 压缩器特性：压缩器特性：lg 1lg 7/151xy。图示。图示。 00.20.0.20.40.60.81.010100100040.60.81.01 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸2 差分脉冲编码调制（DPCM） 2 差分脉冲编码调制（DPCM） PCM：各样值独立编码。：各样值独立编码。 然而，大多数信号，相邻样值间都有很强的相关性。冗余。然而，大多数信号，相邻样值间都有很强的相关性。冗余。 利用，可获得较低的编码速率。利用，可获得较低的编码速率。 编码器：编码器： ( )x tnxnCnxnene nx 8/15 2.4 模拟信源编码
18、模拟信源编码 电信学院刘金电信学院刘金铸铸 9/15（1）n 是根据以前的是根据以前的xp个样值，对个样值，对nx进行预测的结果。进行预测的结果。 1pniin ixa x ia( )，其中 是预测系数，依据，其中 是预测系数，依据 MSE 准则、准则、x tx的相关函数确定。的相关函数确定。 （2）对）对n进行量化编码。进行量化编码。 nnex即对预测误差不可预测的部分进行量化编码。即对预测误差不可预测的部分进行量化编码。 注意图中，注意图中，nnnxxe ,1,2,n i。因而，。因而，n in ixxeip 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸译码器：译码器：
19、nCnxne nx n i 其中，其中，1pniixa x 问题：据抽样定理，各样点应是独立不相关的。为什么差分编码还能够降低速率？问题：据抽样定理，各样点应是独立不相关的。为什么差分编码还能够降低速率？ 10/15 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸M0,10,0调制） 3 增量调制（调制） 3 增量调制（最简单的最简单的 DPCM 调制。调制。 （1）编码：）编码：1 位二进制。位二进制。nnee （2）预测：）预测：111,pa1pnii，1n inxa xx 若采用若采用双极性码双极性码，则预测器和相加器部分可由积分器替代，则预测器和相加器部分可由积分器替代
20、，M编译码器变成如下形式：编译码器变成如下形式： 11/15 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸编码器：编码器： ( )x t( )x t( )e t( )C t 译码器：译码器： ( )C t( )x t( )x t 量化噪声分析略。量化噪声分析略。 12/15 13/15电信学院刘金电信学院刘金铸铸2.4 模拟信源编码模拟信源编码 二、模型基模拟信源编码 二、模型基模拟信源编码 又叫参量编码。属于数据压缩编码。又叫参量编码。属于数据压缩编码。 以正弦波的传输为例。以正弦波的传输为例。 发送端：信号发生器模型。信号模型。参数提取。发送端：信号发生器模型。信号模型。
21、参数提取。 接收端：信号发生器。按照收到参数。接收端：信号发生器。按照收到参数。 关键：模型已知，接收端有发生器。传输模型参数。关键：模型已知，接收端有发生器。传输模型参数。 2.4 模拟信源编码模拟信源编码 电信学院刘金电信学院刘金铸铸例：语音信号参量编码。例：语音信号参量编码。 语音产生模型：语音产生模型： nVGnx 14/15 15/15电信学院刘金电信学院刘金铸铸2.4 模拟信源编码模拟信源编码 在一定时间范围内，在一定时间范围内，1520ms，语音产生模型参数可以认为是不变的。，语音产生模型参数可以认为是不变的。 语音信号表达式：差分方程语音信号表达式：差分方程 11pqnkn kkn kkkxa xb V 参数包括：参数包括： 基因周期基因周期 6 bit 清清/浊开关浊开关 1bit ka、 每个每个 6 比特比特 kb10p ，10q 。 速率：速率：24004800 bit/s 译码器任务：根据收到模型参数，合成语音。译码器任务：根据收到模型参数，合成语音。
