1、第七章 参数估计 引言 第一节 点估计 第二节 估计量的评选标准 第三节 区间估计 第四节 正态总体均值与方差的区间估计 第五节 单侧的置信区间 习题 引言 总体样本统计量描述作出推断(统计推断) 研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.随机抽样参数估计问题假设检验问题点估计区间估计统计推断 参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数. 参数估计估计废品率估计新生儿的体重估计湖中鱼数 估计降雨量在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.这类问题称为参数估计.参数估计问题的一般提法X1,X2,Xn要依据该
2、样本对参数作出估计, 或估计的某个已知函数 .现从该总体抽样，得样本 设有一个统计总体 , 总体的分布函数为F( x, ) ，其中 为未知参数 ( 可以是向量) . 假定身高服从正态分布 。设这5个数是:1.65 1.67 1.68 1.78 1.69 估计 为1.68，这是点估计.这是区间估计.估计在区间 1.57, 1.84 内，例如我们要估计某队男生的平均身高. 现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .第一节点估计一、点估计概念随机抽查100个婴儿 ,得100个体重数据 10,7,6,6.5,5,5.2,
3、呢 ?据此,我们应如何估计和而全部信息就由这100个数组成 .引例: 已知某地区新生婴儿的体重 ,未知 为估计 :我们需要构造出适当的样本的函数 T(X1,X2,Xn) ， 每当有了样本，就代入该函数中算出一个值，用来作为 的估计值 .把样本值代入T(X1,X2,Xn) 中，估计值 .T(X1,X2,Xn) 称为参数的点估计量，得到 的一个点我们知道,若 ,由大数定律, 自然想到把样本体重的平均值作为总体平均体重的一个估计.样本体重的平均值则 .用样本体重的均值 估计 . 类似地，用样本体重的方差 估计 .二、寻求估计量的方法1. 矩估计法2. 最大似然估计法3. 最小二乘法4. 贝叶斯方法
4、我们主要介绍前面两种方法 .1. 矩估计法由辛钦大数定理 ,若总体 的数学期望 有限,则有其中 为连续函数 . 这表明 , 当样本容量很大时 , 在统计上 , 可以用 样本矩去估计总体矩 . 这一事实导出矩估计法.定义 用样本原点矩估计相应的总体原点矩 , 又用样本原点矩的连续函数估计相应的总体原点矩的连续函数, 这种参数点估计法称为矩估计法 . 理论依据: 大数定律矩估计法的具体做法如下： 设总体的分布函数中含有k个未知参数 , 那么它的前k阶矩 ,一般都是这 k 个参数的函数,记为：从这 k 个方程中解出j=1,2,k那么用诸 的估计量 Ai 分别代替上式中的诸 , 即可得诸 的矩估计量
5、：矩估计量的观察值称为矩估计值 .解： 例题: 设总体 X 的均值 和方差 都存在 , 未知 . 是来自 X 的样本 , 试求 的矩估计量 .解得于是 的矩估计量为 例: 设总体 X 在 a , b 上服从均匀分布 , a , b 未知 . 是来自 X 的样本 , 试求 a , b 的矩估计量 .解 即 解得于是 a , b 的矩估计量为 样本矩总体矩求参数 的矩估计.课堂练习：设总体X的概率密度为其中 是未知参数 ,X1 , X2 , , Xn 是取自 X 的样本,解: 解得的矩估计量为故 矩估计法的优点是简单易行,并不需要事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有充分利用分
6、布提供的信息 . 2. 最大似然估计法总体类型已知条件下使用的一种参数估计方法 .最大似然估计原理： 当给定样本X1,X2,Xn时，定义似然函数为： 设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律 (离散型)为 f (x1,x2, ,xn ; ) .f (x1, x2 , xn; )这里 x1, x2 , xn 是样本的观察值 . 似然函数： 最大似然估计法就是用使 达到最大值的 去估计 . 称 为 的最大似然估计值 . 看作参数 的函数，它可作为 将以多大可能产生样本值 x1, x2, ,xn 的一种度量 . f (x1,x2, xn; )而相应的统计量称为
7、的最大似然估计量 .两点说明： 1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是 x 的增函数, lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是 的一个可微函数。通过求解方程：可以得到 的最大似然估计 . 若 是向量，上述方程必须用方程组代替 . 2、用上述求导方法求参数的最大似然估计有时行不通，这时要用最大似然原则来求 .故似然函数为:例 设X1,X2,Xn是取自总体 XB(1, p) 的一个样本，求参数p的最大似然估计量.解： X的分布律为对数似然函数为：对p求导并令其为0，=0得即为 p 的最大似然估计值 .从而 p 的最
8、大似然估计量为 (4) 在最大值点的表达式中, 用样本值代入就得参数的最大似然估计值 .求最大似然估计的一般步骤是： (1) 由总体分布导出样本的联合分布律(或联合密度); (2) 把样本联合分布律 ( 或联合密度 ) 中自变 量看成已知常数,而把参数 看作自变量,得到似然 函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化为求ln L( )的最大值点) ，即 的最大似然估计; 例: 设总体 X N( ) , 未知 . 是来自 X 的样本值 , 试求 的最大似然估计量 .似然函数为 解：X 的概率密度为 于是令解得的最大似然估计量为例: 设总体X在(a,b)上服从均匀分布, a,
9、b未知, x1,x2,.,xn是一个样本值. 试求a,b的最大似然估计量.由于ax1,x2,.,xnb等价于ax(1), x(n)b. 似然函数解： 记x(1)=min(x1,x2,.,xn), x(n)=max(x1,x2,.,xn). X的概率密度是于是对于满足条件ax(1), bx(n)的任意a,b有即L(a,b)在a=x(1), b=x(n)时取到最大值(x(n)-x(1)-1. 故a,b的最大似然估计值为a,b的最大似然估计量为其中 0,解 似然函数为对数似然函数为课堂练习: (1)设X1,X2,Xn是取自总体X的一个样本 求 的最大似然估计值.求导并令其为0=0从中解得即为 的最大
10、似然估计值 .对数似然函数为(2) 设X1,X2,Xn是取自总体X的一个样本其中 0,求 的最大似然估计和矩估计.对数似然函数为i=1,2,n解：(a)最大似然估计。似然函数为0 (2)由(1)得=0 (1)对 分别求偏导并令其为0,对数似然函数为故使 达到最大的 为对 取其它值时，且是 的增函数最后得最大似然估计为（b）矩估计。由密度函数是具有均值为 的指数分布即E(X- ) = D(X- )= E(X)= D(X)=故知所以解得 的矩估计量为于是第二节估计量的评选标准样本均值是否是 的一个好的估计量？(2) 怎样决定一个估计量是否比另一个估计量“好”？样本方差是否是 的一个好的估计量？这就
11、需要讨论以下几个问题:(1) 我们希望一个“好的”估计量具有什么特性？(3) 如何求得合理的估计量？XN( ) 关于估计量的评选标准，我们必须强调指出： 评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 . 常用的几条标准是：1无偏性2有效性3相合性这里我们重点介绍前面两个标准 . 估计量是随机变量，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就引出无
12、偏性这个标准 . 一、无偏性则称 为 的无偏估计 .设是未知参数 的估计量，若无偏性的实际意义是指没有系统误差 . 例1 设总体 X 服从指数分布 , 其概率密度为为未知,X1,X2,Xn是取自总体的一个样本 ,试证 和 都是参数 的无偏估计量 .证:所以 是参数 的无偏估计量 .而具有概率密度故知即 也是参数 的无偏估计量 .所以无偏估计以方差小者为好, 这就引进了有效性这一概念 .的大小来决定二者谁更优 .和一个参数往往有不止一个无偏估计, 若 和都是参数 的无偏估计量，我们可以比较由于二、有效性D( ) D( )则称 较 有效 .都是参数 的无偏估计量，若对任意 ，设和且至少对于某个 上
13、式中的不等号成立，故 较 有效 . 例2 (续例1) 试证 当 n 1 时 的无偏估计量 较 有效 .证故有而故有当 n 1 时 ,三、相合性任意 ，当 时 依概率收敛于 , 则称 为 的相合估计量.设是参数 的估计量，若对于为 的相合估计量对于任意 , 有由辛钦定理 若总体 的数学期望 有限, 则有 其中 为连续函数 .故为 的相合估计量 . 若 为连续函数, 为 的相合估计量 . 则有第三节区间估计引言 前面，我们讨论了参数点估计. 它是用样本算得的一个值去估计未知参数. 但是，点估计值仅仅是未知参数的一个近似值，它没有给出这个近似值的误差范围，使用起来把握不大. 区间估计正好弥补了点估计
14、的这个缺陷 .我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真正的参数值.这里所说的“可靠程度”是用概率来度量的 ，称为置信度或置信水平. 习惯上把置信水平记作 ，这里 是一个 很小的正数.置信水平的大小是根据实际需要选定的.置信水平为 称区间 为 的置信区间.的例如，通常可取置信水平 =0.95或0.9等.根据一个实际样本，由给定的置信水平，我小的区间 ，使们求出一个尽可能一、 置信区间定义满足设 是 一个待估参数，给定X1,X2,Xn确定的两个统计量则称区间 是 的置信水平（置信度 )为 的置信区间.和 分别称为置信下限和置信上限. 若由样本1. 要求 以很大的可能被包含在区间
15、内，就是说，概率 要尽可能大 .即要求估计尽量可靠. 2. 估计的精度要尽可能的高. 如要求区间长度 尽可能短，或能体现该要求的其它准则.目标：在求置信区间时，要查表求分位点.二、置信区间的求法 设 , 对随机变量X，称满足的点 为X的概率分布的上 分位点. 定义标准正态分布的上 分位点 分布的上 分位数自由度为n的F分布的上 分位数自由度为n1,n2的 N(0, 1)求参数 的置信度为 的置信区间. 例1 设X1,Xn是取自 的样本， 明确问题是求什么参数的置信区间?置信水平是多少？解 寻找一个待估参数和统计量的函数 ，要求其分布为已知.有了分布，就可以求出取值于任意区间的概率.从中解得对给
16、定的置信水平查正态分布表得使也可简记为于是所求 的 置信区间为0a/2za/2a/2-za/2如果取a=0.05, 即1-a=0.95, 又若s=1, n=16, 查表得za/2=z0.025=1.96. 于是得到一个置信水平为0.95的置信区间再者, 若由一个观察值算得样本均值的观察值x =5.20, 则得到一个区间(5.200.49), 即 (4.71, 5.69)最后得到的区间(4.71,5.69)已经不是随机区间了, 但我们仍称它为置信水平为0.95的置信区间. 其含义是: 若反复抽样多次, 每个样本值(n=16)按(4.7)式确定一个区间, 按上面的解释, 在这么多的区间中, 包含m
17、的约占95%, 不包含m的约仅占5%. 现在抽样得到区间(4.71,5.69), 则该区间属于那些包含m的区间的可信程度为95%, 或该区间包含m这一陈述的可信度为95%.区间估计的图示q求置信区间的一般步骤:(1) 寻求一个参数q和样本X1,X2,.,Xn的函数: W=W(X1,X2,.,Xn;q ), 使W的分布已知且不依赖参数q和其他未知参数。(称具有这种性质的W为枢轴量)(2) 对于给定的置信水平1-a, 定出两个常数a,b, 使 PaW(X1,X2,.,Xn;q)b)=1-a ;(3) 从aW(X1,X2,.,Xn;q)b求得等价的不等式q q q, 其中q=q (X1,X2,.,X
18、n), q =q(X1,X2,.,Xn)都是统计量, 则(q,q)就是q的一个置信水平为1-a的置信区间.函数W(X1,X2,.,Xn;q)的构造, 通常可以从q 的点估计着手考虑. 需要指出的是，给定样本，给定置信水平 ，置信区间也不是唯一的.对同一个参数，我们可以构造许多置信区间. 例如，设 X1 , , Xn 是取自 的样本 ， 求参数 的置信水平为 的置 N(0, 1)信区间.通常取法我们总是希望置信区间尽可能短.在概率密度为单峰且对称的情形，当a =-b时求得的置信区间的长度为最短. 即使在概率密度不对称的情形，如 分布，F分布，习惯上仍取对称的分位点来确定置信区间. 也就是说，要想
19、得到的区间估计可靠度高，区间长度就长，估计的精度就差.这是一对矛盾. 实用中一般在保证足够可靠的前提下，尽量使得区间的长度短一些 . 我们可以得到未知参数的的任何置信水平小于 1 的置信区间，并且置信水平越高，相应的置信区间平均长度越长.第四节正态总体均值与方差的区间估计一、单个总体 的情况并设 为来自总体的 样本 ,分别为样本均值和样本方差 .均值 的置信区间可得到 的置信水平为 的置信区间为可得到 的置信水平为 的置信区间为此分布不依赖于任何未知参数由或 例1: 有一大批糖果.现从中随机地取 16 袋 , 称得重量(以克计)如下: 506 508 499 503 504 510 497 5
20、12 514 505 493 496 506 502 509 496设袋装糖果的重量近似地服从正态分布,试求总体均值 的置信水平0.95为的置信区间.解：于是得到 的置信水平为 的置信区间为方差 的置信区间由可得到 的置信水平为 的置信区间为还可得到标准差 的置信水平为 的置信区间为由可得到 的置信水平为 的置信区间为 例2: 有一大批糖果.现从中随机地取 16 袋 , 称得重量(以克计)如下: 506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496设袋装糖果的重量近似地服从正态分布,试求总体标准差 的置信水平为0.95的
21、置信区间.于是得到 的置信水平为 的置信区间为解：二、两个总体 的情况设已给定置信水平为 , 并设 是来自第一个总体的样本 , 是来自第二个总体的样本 ,这两个样本相互独立 .且设 分别为第一、二个总体的样本均值 , 为第一、二个总体的样本方差 . 两个总体均值差 的置信区间于是得到 的置信水平为 的置信区间为其中于是得到 的置信水平为 的置信区间为两个总体方差比 的置信区间( 未知 )由可得到 的置信水平为 的置信区间为 例3 为比较 I , 两种型号步枪子弹的枪口速度 ,随机地取 I 型子弹 10 发 ,得到枪口速度的平 均值 为 标准差 随机地取 型子弹 20 发 ,得到枪口速度的平均值
22、为 标准差 假设两总体都可认为近似地服从正态分布.且生产过程可认为方差相等 .求两总体均值差 的置信水平为 0.95 的置信区间.解: 依题意 , 可认为分别来自两总体的样本是相互独立的.又因为由假设两总体的方差相等 ,但数值未知 ,故两总体均值差 的置信水平为的置信区间为其中这里故两总体均值差 的置信水平为0.95 的置信区间为即 (3.07, 4.93) . 例4 研究由机器 A 和机器 B 生产的钢管的内径 , 随机地抽取机器 A生产的钢管18只 , 测得样本方差 随机地取机器 B 生产的钢管13只 ,测得样本方差 设两样本相互独立 , 且设由机器 A 和机器 B 生产的钢管的内径分别服
23、从正态分布 这里 (i =1,2) 均未知 .试求方差比 的置信水平为 0.90 的置信区间.这里即 (0.45 , 2.79) .解故两总体方差比 的置信水平为0.90 的置信区间为第五节单侧的置信区间 前面讲述的置信区间中置信限都是双侧的，但对于有些实际问题，人们关心的只是参数在一个方向的界限. 例如对于设备、元件的使用寿命来说，平均寿命过长没什么问题，过短就有问题了.这时, 可将置信上限取为+ ，而只着眼于置信下限 ，这样求得的置信区间叫单侧置信区间.单侧置信区间和置信限的定义：设 是 一个待估参数，给定满足若由样本X1,X2,Xn确定的统计量则称区间 是 的置信水平为 的单侧置信区间.
24、定义称为 的置信水平为 的单侧置信下限.对于任意 ,满足若由样本X1,X2,Xn确定的统计量 则称区间 是 的置信水平为 的单侧置信区间.称为 的置信水平为 的单侧置信上限.对于任意 ,解：设灯泡寿命服从正态分布. 求灯泡寿命均值 的置信水平为0.95的单侧置信下限. 例： 从一批灯泡中随机抽取5只作寿命试验，测得寿命X（单位：小时）如下：1050，1100，1120，1250，1280 对给定的置信水平 ，确定分位点使即于是得到 的置信水平为 的单侧置信区间为 计算得 的置信水平为0.95的单侧置信下限是1065小时。代入样本值得： 1-a=0.95n=5 ta(n-1)=t0.05(4)=
25、2.1318x=1160,s2=9950的置信水平为 的单侧置信下限为即习题置信区间置信区间为置信区间为依题意，区间长度似然函数为当时求导数得最大似然估计值为最大似然估计量为矩估计量为最大似然估计值为最大似然估计量为X分布律为似然函数为置信区间为置信区间为置信区间为置信区间为置信区间为置信区间为置信区间为置信区间为置信区间长度为只需求在条件下的最小值设由得6） 随机地取炮弹 10 发做试验，得炮口速度的标准差 , 炮口速度服从正态分布. 求这种炮弹的炮口速度的标准差 的置信水平为0.95 的置信区间.由解于是得到 的置信水平为 的置信区间为这里可得到 的置信水平为 的置信区间为证明：的无偏估计. 为了对一批产品估计其废品率 p ，随机取一样本 X1, X2 , Xn ,其中试证明 是 p 的无偏估计量 .
