ImageVerifierCode 换一换
格式:PPT , 页数:63 ,大小:718.50KB ,
资源ID:14942109      下载积分:15 文币
快捷下载
登录下载
邮箱/手机:
温馨提示:
快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。 如填写123,账号就是123,密码也是123。
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

加入VIP,免费下载
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.wenkunet.com/d-14942109.html】到电脑端继续下载(重复下载不扣费)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录   QQ登录   微博登录 

下载须知

1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。
2: 试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。
3: 文件的所有权益归上传用户所有。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 本站仅提供交流平台,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

版权提示 | 免责声明

本文(《信息论基础》课件第4章 连续信源的相对熵.ppt)为本站会员(bubibi)主动上传,文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知文库网(发送邮件至13560552955@163.com或直接QQ联系客服),我们立即给予删除!

《信息论基础》课件第4章 连续信源的相对熵.ppt

1、4.1 连续信源你的相对熵 连续信源:用连续随机变量描述输出消息的信源。数学模型:一 相对熵的定义Hc(X):信息熵分层量化连续离散 利用离散信源熵的概念来定义连续信源熵,如图表示a,b区间的连续随机变量。首先把X的取值区间a,b分割为n个小区间,小区间宽度为:=(b-a)/n。根据概率密度函数曲线的区间面积关系,X取值为xi的概率为:Pi=p(xi)得到离散信源Xn的信源空间为:Xn,PXn:x1x2xnP(Xn):p(x1)p(x2)p(xn)相对熵:h(X)确定值部分无限大常数项 称为连续信源的熵。二 几种连续信源的相对熵1.均匀分布:相对熵无非负性,可为负值2.高斯分布:与方差有关,与

2、均值无关当均值m=0,即方差表示平均功率时:相对熵只与平均功率有关3.指数分布:指数分布的相对熵只取决于信源的均值a小结小结151.连续信源的相对熵的定义:2.几种连续信源的相对熵:均匀分布、高斯分布、指数分布4.2 几种单维连续信源的相对熵1.均匀分布:相对熵无非负性,可为负值2.高斯分布:与方差有关,与均值无关当均值m=0,即方差表示平均功率时:相对熵只与平均功率有关3.指数分布:指数分布的相对熵只取决于信源的均值a4.3 最大相对熵定理极值性、上凸性相对熵具有极大值 一维连续信源X的相对熵h(X)的最大值,是概率密度函数p(x)的函数h(X)的条件极大值。考虑:则:1.峰值功率受限(取值

3、区间受限):均匀分布相对熵最大2.平均功率受限:高斯分布相对熵最大3.均值受限(取值非负):指数分布相对熵最大1.对于峰值功率受限的连续信源,均匀分布的相对熵对于峰值功率受限的连续信源,均匀分布的相对熵最大;最大;2.对于输出平均功率受限的连续信源,在假设状态相对于输出平均功率受限的连续信源,在假设状态相互独立时,当其概率密度函数为高斯分布时,具有最互独立时,当其概率密度函数为高斯分布时,具有最大熵;大熵;3.对于均值受限的连续信源,指数分布输出相对熵最对于均值受限的连续信源,指数分布输出相对熵最大。大。结论:(最大熵定理)熵功率熵功率平均功率受限(m=0):熵功率4.4 连续熵的变换信 源信

4、息处理网络信 道XY解:4.5 连续信道连续信道 1 连续信道的分类:信道的分类:按噪声统计特性分类按噪声统计特性分类高斯信道:若信道的噪声是高斯噪声,即噪声是平稳随机过程,其瞬时值的概率密度函数服从正态分布(高斯分布),则此信道称为高斯信道。白噪声信道:若信道的噪声是白噪声,即噪声是平稳随机过程,其功率谱密度均匀分布于整个频域,则此信道称为白噪声信道。高斯白噪声信道:若信道的噪声是高斯分布的白噪声,则此信道称为高斯白噪声信道。按噪声对信号的作用功能分类按噪声对信号的作用功能分类乘性信道:信道中噪声对信号的作用表现为与信号相乘的关系。加性信道:信道中噪声对信号的作用表现为与信号相加的关系。根据

5、时间取样定理,把波形信道的输入x(t)和输出y(t)的平稳随机过程信号离散化成(=2FT)个时间离散、取值连续的平稳随机序列X=X1X2XN和Y=Y1Y2YN。这样,波形信道就转化为多维连续信道。l 基本连续信道:输入和输出都是单个连续型随机变量的信道。即单符号连续信道,其输入是连续型随机变量X,X取值于a,b或实数域R;输出也是连续型随机变量Y,取值于a,b或实数域R;信道的传递概率密度函数为p(y/x),并满足 因此,可用X,p(y/x),Y来描述单符号连续信道。l多维连续信道:多维连续信道:输入是N维连续型随机序列X=X1X2XN,输出也是N维连续型随机序列Y=Y1Y2YN,而信道传递概

6、率密度函数是 p(y/x)=p(y1y2yn/x1x2xn)并且满足 用X,P(y/x),Y来描述多维连续信道。2 连续信道的信息传输率连续信道的信息传输率 连续信道的平均互信息连续信道的平均互信息单符号连续信道的平均互信息单符号连续信道的平均互信息连续信道X,P(y/x),Y的平均互信息 I(X;Y)=h(X)h(X/Y)=h(Y)h(Y/X)=h(X)+h(Y)h(XY)单符号连续信道的信息传输率:R=I(X;Y)(比特/自由度)多维连续信道X,P(y/x),Y的平均互信息 I(X;Y)=h(X)h(X/Y)=h(Y)h(Y/X)=h(X)+h(Y)h(XY)平均互信息的单位是比特/N个自

7、由度或奈特/N个自由度。多维连续信道的信息传输率:R=I(X;Y)(比特/N个自由度)3 连续信道平均互信息的特性连续信道平均互信息的特性(1)非负性 I(X;Y)0 当且仅当X和Y统计独立时,等式成立。(2)对称性 I(X;Y)I(Y;X)(3)凸状性 I(X;Y)是输入信源的概率密度函数p(x)的上凸函数;I(X;Y)是信道传递概率密度函数p(y/x)的下凸函数。(4)信息不增性(又称数据处理定理)连续信道输入变量为X,输出变量为Y,若对连续随机变量Y再进行处理而成为另一连续随机变量Z,总会丢失信息,最多保持原获得的信息不变,而所获得的信息不会增加。即数据处理定理。I(X;Z)I(X;Y)

8、若连续随机变量X-Y-Z形成马氏链,则 I(X;Z)I(X;Y)若连续随机矢量S-X-Y-Z形成马氏链,则 I(S;Z)I(X;Z)I(X;Y)(5)平均互信息的不变性信源变换I信道变换II信宿SXYZ (6)I(X;Y)与I(Xi;Yi)的关系若平稳连续信源无记忆即p(x)=则有 I(X;Y)若多维连续信道无记忆即p(y/x)=则有 I(X;Y)若连续信源和连续信道都是无记忆时,即上两等式条件都成立,则有 I(X;Y)4 4 连续信道的信道容量连续信道的信道容量 对于固定的连续信道,和离散信道一样,都有一个最大的信息传输率,称之为信道容量。一般多维连续信道的信道容量为 C=max I(X;Y

9、)=maxh(X)h(Y/X)比特/N个自由度高斯加性信道的容量1)加性信道:+NXY=X+N1.X、N统计独立2.噪声的干扰作用表现为噪声N对信源X的线形叠加加性信道2)高斯加性信道的容量:平均功率受限:nat/维(自由度)5 连续信道编码定理连续信道编码定理 定定理理 对于限带高斯白噪声加性信道,噪声功率为Pn,带宽为W,信号平均功率受限为PS,则(1)当R CWlog(1+PS/Pn),总可以找到一种信道编码在信道中以信息传输率R传输信息,而使错误概率任意小。(2)当R C,找不到一种信道编码,在信道中以R传输信息而使错误概率任意小。实际应用:对于一定的信息传输率来说,带宽W、传输时间T和信噪功率比PS/Pn三者之间的关系(即有以下三种匹配方式):(1)在固定传输时间T下,以带宽换取信噪比;(2)在固定信噪比PS/Pn下,以频带换取时间;(3)在固定频带W下,以时间换取信噪比。

本站链接:文库   一言   我酷   合作


客服QQ:2549714901微博号:文库网官方知乎号:文库网

经营许可证编号: 粤ICP备2021046453号世界地图

文库网官网©版权所有2025营业执照举报