1、信息论课程总结信息论课程总结 信息论的基本概念与术语信息论的基本概念与术语 信号，消息，数据，知识，情报。 信息的定义。（香农信息） 信息的主要特征。 信息的重要性质。 信息的分类。 信息技术的基本内容。 思考题思考题 : 信息是什么？ 信息的基本特征是什么？ 信息与信号、消息、数据、知识、情报有那些 差别？ 怎样进行信息分类？ 信息技术的 “四基元”是什么？ 为什么说数学是信息科学的基础？ 信息量、熵和不确定度：信息量、熵和不确定度： 自信息量、条件自信息量、联合自信息量、互 信息量。 不确定度。 熵、条件熵、联合熵、平均互信息。 应用： 如何利用它们的性质和相互关系计算各种 信源、随机变量
2、和事件的相应信息度量 。 两个基本定理：两个基本定理： 最大熵定理。 信息不增原理。 几种研究对象：几种研究对象： 离散单符号信源。离散单符号信源。 离散无记忆序列信源。离散无记忆序列信源。 离散有记忆序列信源。离散有记忆序列信源。 （主要是马尔可夫信源）（主要是马尔可夫信源） 连续信源。连续信源。 需掌握的重点：需掌握的重点： 各种定义、概念的实际含义。各种定义、概念的实际含义。 各种信息量和熵的计算方法。各种信息量和熵的计算方法。 难点：难点： 条件熵、联合熵和平均互信息量的计算。 序列熵的计算。 马尔可夫信源熵的计算。 马尔可夫信源熵的计算方法：马尔可夫信源熵的计算方法： 根据题意画出状
3、态图，判断是否是齐次遍历的 马尔可夫信源。 写出状态转移概率矩阵，计算状态稳定后的极 限概率分布。 根据状态转移概率矩阵和极限概率分布，计算 信源的极限熵。 信道的信息传输率信道的信息传输率 : 由于在平均意义上 , 一个符号流经信道的平均 信息量为 I(X;Y), 所以 , 信道的信息传输率为 : R=I(X;Y)=H(X)-H(X|Y) bit/ 符号 若平均传输一个符号的时间为 t 秒 , 则信道 每秒众平均传输的信息量为 : Rt=I(X;Y) /t bit/s 定义：信道容量定义：信道容量定义：信道容量定义：信道容量 C C C max I(X ； Y ） max H(X)-H(X/
4、 Y) =max H(Y)-H(Y/X) P(Xi)P(Xi) P(Xi) );(max 1 YXI t Ct P(Xi) 信道最大信息传输速率 离散无噪信道离散无噪信道 （一一对应的无噪信道） 此时，此时， H(X/Y)=0 此时，此时， C = max H(X) = log n 例：二元对称信道例：二元对称信道 BSC （ Binary Symmetric Channel ） BSC 的信道容量为：的信道容量为： 1(/ )1( ) 1log(1)log(1) CH X YH p pppp = -= - =+- 离散信道容量的一般计算办法； 连续信道的信道容量。 复习思考题：复习思考题：
5、随机事件的不确定度和它的自信息量之间的关系及 区别？ 单符号离散信源的数学模型，自信息量、条件自信 息量、联合自信息量的含义？ 互信息量的性质？含义？分别从输入端、输出端和 系统总体来理解互信息量的含义。 各种熵（信源熵，条件熵，联合熵（共熵），等） 的含义及其关系。 熵的基本性质与定理及其理解？ 平均互信息量的定义及物理意义？疑义度及噪声熵 ？ 平均互信息量的性质及理解？ 最大离散熵定理。 数据处理定理及其含义。 信源的种类（详细分类）。 离散平稳信源的定义，平均符号熵，极限熵的定义 ，含义与理解。 马尔可夫信源的定义，含义及其极限熵？ 连续信源的熵的定义？ 几种特殊连续信源的熵？ 信道容量
6、的定义与计算办法。 例：例： 若你在不知道今天是星期几的情况下，问你的朋 友“明天是星期几？”，从答案中能获得多少信 息量？如果你在已经知道今天是星期四的情况下 ，提出同样的问题，能从答案中获得多少信息量 ？ 解：解： 设事件 A 为：不知道今天是星期几的情况下，问 “明天 是星期几？”的答案。 设事件 B 为：知道今天是星期四的情况下，问 “明天是 星期几？”的答案。 则： P(A)=1/7, P(B)=1 I(A)=log272.807 比特 I(B)=log21 0 比特 习题习题 1 ： 从统计资料知道，男性中红绿色盲的发病率为 7 ，女性为 0.5 ，如果你问一个男同志， “你是否是红绿色盲？”他的回答可能是 “是”，可能是“否”，问 : 两个回答各含有 多少信息量？平均每个回答含有多少信息量？ ，如果是女同志，结果又如何？ 习题习题 2 ： 设有一个信源，它产生 0 ， 1 序列的消息，它 在任何时间而且不论以前发出过什么符号，均 按 P(0)=0.4,P(1)=0.6 的概率发出符号。 （ 1 ）试问该信源是否是平稳的？ （ 2 ）计算 2 312N N (),(|)lim()H XH XX XHX 及
