1、实验五实验五 异方差异方差 1 一、实验目的一、实验目的 掌握异方差的检验方法；掌握加权最 小二乘法对异方差的处理并根据经济理论 对可能产生的异方差的函数形式进行适当 分析。 2 二、实验内容二、实验内容 建立工作文件、输入数据 对模型进行异方差检验 根据选取的权重利用WLS对异方差进 行处理 3 三、预备知识三、预备知识 4 线性回归模型的基本假设线性回归模型的基本假设 i = 1 , 2 , , N 在普通最小二乘法中，为保证参数估计量具有良好的性质 ，通常对模型提出若干基本假设： 1解释变量之间互不相关； 2随机误差项具有0均值和同方差。即 i = 1 , 2 , , N 即随机误差项的
2、方差是与观测时点t无关的常数； 3不同时点的随机误差项互不相关（序列不相关），即 s 0, i = 1 , 2 , , N 5 当随机误差项满足假定1 4时，将回归模型”称为“标 准回归模型”，当随机误差项满足假定1 5时，将回归模 型称为“标准正态回归模型”。如果实际模型满足不了这些 假定，普通最小二乘法就不再适用，而要发展其他方法来 估计模型。 5随机误差项服从0均值、同方差的正态分布。即 i = 1 , 2 , , N 4随机误差项与解释变量之间互不相关。即 j = 1 , 2 , , k , i = 1 , 2 , , N 6 古典线性回归模型的一个重要假设是总体回归方程的随机 扰动项
3、 ui 同方差，即他们具有相同的方差 2。如果随机扰动项 的方差随观测值不同而异，即ui 的方差为i2，就是异方差。用 符号表示异方差为E(ui2) = i2 。 异方差性在许多应用中都存在，但主要出现在截面数据分 析中。例如我们调查不同规模公司的利润，会发现大公司的利 润变化幅度要比小公司的利润变化幅度大，即大公司利润的方 差比小公司利润的方差大。利润方差的大小取决于公司的规模 、产业特点、研究开发支出多少等因素。又如在分析家庭支出 模式时，我们会发现高收入家庭通常比低收入家庭对某些商品 的支出有更大的方差。 加权最小二乘估计加权最小二乘估计 7 变量可支配收入 交通和通讯支出变量可支配收入
4、交通和通讯支出 地区INCUM地区INCUM 甘 肃 山 西 宁 夏 吉 林 河 南 陕 西 青 海 江 西 黑龙江 内蒙古 贵 州 辽 宁 安 徽 湖 北 海 南 4009.61 4098.73 4112.41 4206.64 4219.42 4220.24 4240.13 4251.42 4268.50 4353.02 4565.39 4617.24 4770.47 4826.36 4852.87 159.60 137.11 231.51 172.65 193.65 191.76 197.04 176.39 185.78 206.91 227.21 201.87 237.16 214.37
5、 265.98 新 疆 河 北 四 川 山 东 广 西 湖 南 重 庆 江 苏 云 南 福 建 天 津 浙 江 北 京 上 海 广 东 5000.79 5084.64 5127.08 5380.08 5412.24 5434.26 5466.57 6017.85 6042.78 6485.63 7110.54 7836.76 8471.98 8773.10 8839.68 212.30 270.09 212.46 255.53 252.37 255.79 337.83 255.65 266.48 346.75 258.56 388.79 369.54 384.49 640.56 表表1 1 中
6、国中国19981998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位：元单位：元 8 例：例：我们研究人均家庭交通及通讯支出(CUM)和可支配收入 (IN )的关系，考虑如下方程： CUM=0 + 1IN + ui 利用普通最小二乘法，得到如下回归模型： CUM= -56.917+ 0.05807*IN (1.57) (8.96) R2=0.74 D.W.=2.00 9 从图形上可以看出，平均而言，城镇居民家庭交通和通 讯支出随可支配收入的增加而增加。但是，值得注意的是： 随着可支配收入的增加，交通和通讯支出的变动幅度
7、也增大 了，可能存在异方差。如果我们把回归方程中得到的残差对 各个观测值作图，则可以清楚地看到这一点。 异方差的存在并不破坏普通最小二乘法的无偏性，但是 估计量却不是有效的，即使对大样本也是如此，因为缺乏有 效性，所以通常的假设检验值不可靠。因此怀疑存在异方差 或者已经检测到异方差的存在，则采取补救措施就很重要。 10 四、实验原理与操作四、实验原理与操作 11 异方差性检验异方差性检验 1. 1. 图示检验法图示检验法 (1) (1) 用用X-YX-Y的散点图进行判断的散点图进行判断 观察是否存在明显的散点扩大、缩小或复杂型趋势（即 不在一个固定的带型域中） 12 （2 2）X - X -
8、i i 2 2 的散点图进行判断的散点图进行判断 首先采用OLS方法估计模型，以求得随机误差项的估计量( 注意，该估计量是不严格的)，我们称之为“近似估计量”，用 i2 表示。于是有 即用 i2 来表示随机误差项的方差。用 X - i2的散点图进行判断 看是否形成一斜率为零的直线。 13 14 2. White 2. White异方差性检验异方差性检验 White (1980) 提出了对最小二乘回归中残差的异方 差性的检验。包括有交叉项和无交叉项两种检验。普通 最小二乘估计虽然在存在异方差性时是一致的，但是通 常计算的标准差不再有效。如果发现存在异方差性，利 用加权最小二乘法可以获得更有效的估
9、计。 15 检验统计量是通过利用解释变量所有可能的交叉乘积对残 差进行回归来计算的。例如：假设估计如下方程 式中b是估计系数，i 是残差。检验统计量基于辅助回归： EViews显示两个检验统计量：F统计量和 Obs*R2 统计量 。WhiteWhite检验的原假设：不存在异方差性检验的原假设：不存在异方差性（也就是除0以外的 所有系数都为0成立） 。 16 当存在冗余交错作用，EViews会自动的把它们从 检验回归中剔除。例如：一个虚拟变量的平方是它自己 ，所以EViews剔除其平方项，避免形成完全共线性。 选择View/Residual test/White Heteroskedastici
10、ty进行 White异方差检验。 White检验有两个选项：交叉项和无交叉项。有交 叉项是White检验的原始形式，它包括所有交叉乘积项 。但如果回归右边有许多变量，交叉项的个数会很多， 所以不必把它们全包括在内。无交叉项选项仅使用解释 变量平方进行检验回归。 17 例：例：人均家庭交通及通讯支出(CUM)和可支配收入(IN )的回归方程的 White 异方差检验的结果： 该结果F 统计量和 Obs*R2 统计量的P值均很小，表明 拒绝原假设，即残差存在异方差性。 18 利用加权最小二乘法消除异方差利用加权最小二乘法消除异方差 1 1方差已知的情形方差已知的情形 假设有已知形式的异方差性，并且
11、有序列有序列w w，其值与误差标其值与误差标 准差的倒数成比例准差的倒数成比例。这时可以采用权数序列为w 的加权最小二乘 估计来修正异方差性。对加权自变量和因变量最小化残差平方和 得到估计结果 : 其中 是k 1维向量。在矩阵概念下，令权数序列 w 在权数矩阵 W的对角线上，其他地方是零，即W 矩阵是对角矩阵，y 和X是 因变量和自变量矩阵。则加权最小二乘估计量为： 估计协方差矩阵为： 19 2 2方差未知的情形方差未知的情形 由于一般不知道异方差的形式，人们通常采用的经验 方法是，并不对原模型进行异方差检验，而是直接选择加 权最小二乘法，尤其是采用截面数据作样本时。如果确实 存在异方差性，则
12、被有效地消除了；如果不存在异方差性 ，则加权最小二乘法等价于普通最小二乘法。 具体步骤是： 1选择普通最小二乘法估计原模型，得到随机误差项 的近似估计量 t ； 2建立 1/| t | 的数据序列； 3选择加权最小二乘法，以 1/| t |序列作为权，进行 估计得到参数估计量。实际上是以 1/| t |乘原模型的两边 ，得到一个新模型，采用普通最小二乘法估计新模型。 20 EViews 的加权最小二乘估计方法为，首先把权数序 列用均值除，然后与对应的每个观测值相乘，权数序列 已被标准化故对参数结果没有影响同时使加权第一章 习题 1给定文法G=(S,B,C,D,E,0,1,P,S)，其中P： S
13、ABC，AB0AD，AB1AE，AB，D00D， D11D，E00E， E11E， C， DCB0C， ECB1C，0BB0，1BB1 试写出句子01100110的派生过程。 解：SABC0ADC0AB0C01AE0C01A0EC 01A0B1C01AB01C011AE01C011A0E1C 011A01EC011A01B1C011A0B11C011AB011C 0110AD011C0110A0D11C0110A01D1C 0110A011DC0110A011B0C0110A01B10C 0110A0B110C0110AB0110C01100110C01100110 1 2设计下列各文法G，使
14、得它们分别是： （1）G是个上下文无关文法，且 L(G)=aibj ck i,j,k1。 （2）G是个正规文法，且 L(G)=aibj ck i,j,k1。 （3）G是个上下文无关文法，且 L(G)= wwRw0,1+ 。其中wR是w的逆转，例 如w=001, 则wR=100. 解：设计一个文法G要验证： 凡是符合要求的句子G都能产生出来； G产生出来的所有句子都是符合要求的。 (1) G=(S,A,B,C,a,b,c,P,S) P: SABC , AaA|a, BbB|b,CcC|c 2 (2) G=(S,A,B,C,a,b,c,P,S) P: SaA , AaA| bB, BbB|cC,
15、CcC| (3) G=(S,0,1,P,S) P: S0S0|1S1|00|11 3 第二章 习题 1设计一个有限自动机(FA) M，使得T(M)中的每个句 子w同时满足下面三个条件： 1) wa,b,*； 2) |w|是3的整数倍； 3) w以a开头，以b结尾。 解： q0q1 q3 q2q4 aa,b a,ba,b b 4 2设计二个FA M1和M2，分别满足 T(M1)=02ii是自然数 T(M2)=02i+1i=0,1,2,3,4, 解： M1 ： q0q1q3 0 0 0 q1q0 0 0 q0q1 0 0 M2 ： 5 3. 给定NFA M1 =(p,q,r,s,0,1,p,s)，
16、如下表所示。 构造一个DFA M2，使得T(M1)=T(M2) 。 解：令 M2=(K, , q0,F), 其中 K2K，K中的元素是由K的子集 q1,q2,qi构成，但是要把子集 q1,q2,qi作为的一个状态看待， 因此把此子集写成q1,q2,qi。 q0=q0 , F=q1,q2,qi|q1,q2,qiK且q1,q2,qiF ：KK，对q1,q2,qiK, a，有 (q1,q2,qi,a)=p1,p2,pj 当且仅当 (q1,q2,qi,a)=p1,p2,pj 0 1 p p,q p q r r r s s s s 6 q0=p , K和F以后确定。 ： 0 1 p p,q p q r
17、r r s s s s p 0 1 p,qp p,q p,q,rp,r p,rp,q,sp p,q,rp,q,r,sp,r p,q,sp,q,r,sp,r,s p,r,sp,q,s p,s p,sp,q,s p,s p,q,r,sp,q,r,s p,r,s K=p,p,q,p,r,p,s,p,q,r,p,q,s,p,r,s,p,q,r,s F = p,s,p,q,s,p,r,s,p,q,r,s p p,q p,r p,q,r p,q,s p,r,s p,s p,q,r,s 0 1 0 0 0 0 0 0 1 0 1 1 1 11 1 7 4.将下面的-NFA M等价变换成NFA M。 a b
18、c d e f 1 0 1 0 ：对任何qK,任何a, (q,a)= (q,a) 。 解：M=(K, , ,q0 ,F)，q0是M的开始状态，其中 公式(1)：对于qK, , (q,)=-CLOSURE(q) 公式(2)： 对于qK, w*, a, (q,wa)=-CLOSURE( (q,w),a) 8 因为fCLOSURE(a)=a,b, 所以F=F=f ：qK,任何a, a b c d e f 1 0 1 0 (q,a)= (q,a) 。 在计算 (q,a)时，要将a理解成a路径！ 例如(a,0)= (a,0)=c,e,d,b 。 : 0 1 a b c d e f c,e,d,bd,b
19、d,b ff,d,b fd,b f f,d,b 9 5化简正规表达式 a(+aa)*(+a)b+b+(ab*+b)*。 解：上式a(aa)*(+a)b+b 其中(aa)*(+a)代表集合： ,aa,aaaa,aaaaaa,a = ,aa,aaaa,aaaaaa,a,aaa,aaaaa, =,a,aa,aaa,aaaa,aaaaa,aaaaaa,=a* 于是上式aa*b+b=a+ b+b= (a+)b= a*b 10 6构造一个FA M，使得T(M)的正规表达式为 01+(0+1)*1)*。 解：1.分解表达式，找出基本单元：0,1,01,1。设计接收 这些基本单元的自动机如下： q1q2 0
20、q3 q4 1 q7q8 1 q5q6 0 q9q10 1 11 2.组装： （按照优先权从高到低） 01+(0+1)*1)* q7q8 1 q5q6 0 q9 q17 1 q0 q15 q10 q16 q12 q2q1 0 q3q4 1 q14 q13 q11 12 7给定FA M如下图所示，求它所接收的语言T(M)的正 规表达式。 解： q 2 q 1 0 01 1 13 14 8.将下面有限自动机简化(要求有简化过程)。 解：一.定义K上等价关系 给定DFA M=(K,q0,F)， p,qK, pq 对 x*, 有 (p,x)F(q,x)F 如果pq 也称p与q是不可区分的。 二.商集K
21、/ 三的逆关系 pq x(x*(p,x)F(q,x)F) x(x* (p,x)F(q,x)F)(p,x)F(q,x)F) x(x*，使得(p,x)与(q,x)恰有一个在F中 ) 如果pq, 称p与q是可区分的。判断pq是比较容易的。 a b c f e d 0 0,10 0 0 10 1 1 1 1 15 4判断可区分状态对的算法 引理2-1 设M=(K,q0,F)是DFA，则状态对(p,q)是可区分 的(即pq)，当且仅当在下面算法中(p,q)格写上。 begin 1for pF,qK-F, do 给(p,q)格写； 2for FF或(K-F)(K-F)中每个状态对(p,q) (pq)，do
22、 3if a，使得格(p,a),(q,a)内已经写上，then begin 4 给(p,q)格写； 5 如果刚刚写上的格内有先前写入的状态对，此状态对 的格同时也写入。反复执行5, 直到写入的格内没 有先前写入的状态对为止； end else /* 格(p,a),(q,a)内无 */ 6for 每个a, do 7把(p,q)写入格(p,a),(q,a)内，除非(p,a)=(q,a)。 end 16 执行此算法的结果用一个表表示，实际上，执行此算 法的过程就是向这个表内写入“”的过程。 a b c d e b c d e f (b,d) a b c f e d 0 0,10 0 0 10 1 1
23、 1 1 (a,b): a b 0 1 b e ? (a,c): a c 0 1 b a (a,d): a d 0 1 b f b d 0 1 c d 0 1 e f 0 1 b c 0 1 (b,c): (b,d) : (c,d):(e,f): e a e f f e a f d d f e 得：bd, ef , aa ,cc 17 于是 K/a,b,d,c,e,f， 五构造简化的有限自动机 定理2-5.1 给定DFA M(K,q0,F)，可根据引理2-1中 的算法构造出除去不可达状态的具有更少状态的DFA M， 使得T(M)=T(M)。 证明：先对M用引理2-1中的算法求出K/。再构造M：
24、 M=(K,q0, F)，其中 K=q| qK/且在M中q是从q0 可达的状态 F=q| qF ：对任何qK，任何a, (q,a)=(q,a) 18 K/a,b,d,c,e,f=a,b,c,e，(b=b,d,e=e,f) K= a,b,c,e F=e M=(K,a, F) =(a,b,c,e,0,1,a,e) (q,a)=(q,a) a b c f e d 0 0,10 0 0 10 1 1 1 1 :0 1 a b c e b c b e aa ee ab 0 c 1 e 0,1 0,1 0 1 19 9给定DFA M如图所示。求一个左线性文法G，使得 L(G)=T(M)。 解：有两种方法。
25、 方法1 1.先将M逆转成M： B AC 1 01 0 0,1 B A C 1 01 00,1 S 2.根据M构造右线性文 法G： SA|C| A0B B0A|0C|1C|0 C1A|1B|1 3.将G逆转成左线性 文法G: SA|C| AB0 BA0|C0|C1|0 CA1|B1|1 P=qap|(q,a)=pqa|(q,a)F。 20 方法2 1.先根据M构造右线性文法G： A0B|1C|1 (其中A是开始变元) B0A|1C|0|1 C0B|1B 2.再将G直接变成左线性文法G: 根据定理： (1) S, 当且仅当 SP； (2) Ai, 当且仅当 SAiP； (3) AiAj, 当且仅
26、当 AjAiP； (4) SAj, 当且仅当 AjP。 (1)由A1 得: A1 (2) 由A0B 得: B0 由A1C 得: C1 (3)由B0A 得:A B0 由B1C 得: CB1 由C0B 得:BC0 由C1B 得: BC1 (4)由 B0 得: AB0 由B1 得: AB1 B AC 1 01 0 0,1 21 方法2 1.先根据M构造右线性文法G： A0B|1C|1 |(其中A是开始变元) B0A|1C|0|1 C0B|1B 因开始变元A出现在产生式右侧，故引入新的开始变元S ， SA (其中S是开始变元) A0B|1C|1| B0A|1C|0|1 C0B|1B B AC 1 01
27、 0 0,1 22 2.再将G直接变成左线性文法G: 根据定理： (1) S, 当且仅当 SP； (2) Ai, 当且仅当 SAiP； (3) AiAj, 当且仅当 AjAiP； (4) SAj, 当且仅当 AjP。 (2) SA 得: A (3) 由A0B 得: BA0 由A1C 得: CA1 由B0A 得:A B0 由B1C 得: CB1 由C0B 得:BC0 由C1B 得: BC1 (4)由A1 得: SA1 由A 得: SA 由 B0 得: SB0 由B1 得: SB1 23 整理得左线性文法G: SA1|B0 |B1|A A B0| BA0| C0 | C1 CA1|B1 表面上看与
28、方法1得结果略有些不同 SA|C| AB0 BA0|C0|C1|0 CA1|B1|1 24 10首先构造一个右线性文法G，使得 L(G)=ai bj|i,j0ck|k0 再构造一个有限自动机M，使得T(M)=L(G)。 解：令G=(S,A,B,C,a,b,c,P,S) P: SA|C| AaA|B| BbB| b| CcC| c| 令M(S,A,B,C,a,b,c,S,E) S B c A a C b 25 11给定右线性文法G=(S,B,C,D,0,1, P, S)，其中P： SBC， B0B1B011 , 试求一个FA M，使得 T(M)=L(G)。 C0D1C, D0C1D 解：此题与第
29、10题类似。 要将G变成简单右线性文法，唯一要处理的产生式是 B011，将它变成： B0F, F1G, G 1 26 12. 证明Lai|i是个素数不是正规集。 证明: (1) 假设L是正规集。 (2)令n是L满足正规集泵作用引理常数。 (3)取zam，mn 且m是个素数。|z|=mn, 根据正规集 的泵作用引理，可将z写成 z=uvw 形式，其中|uv|n, |v|1, 且对任何i0 有 uviwL。 (4)令u=an1, v=an2, w=an3, 于是|uv|=n1+n2n, |v|=n21, n1+n2+n3=m , z=uvw=an1+n2+n3 = a m, uviw=an1+in
30、2+n3 =a(n1 +n2+n3)+(i-1)n2 =am+(i-1)n2 取i=m+1,则 uvm+1w=am+(m+1-1)n2 =am+mn2 =am(1+n2) 由于n21，所以1+ n2 2, 而m2, 所以m(1+n2)不是素 数，故 uvm+1wL，产生矛盾。所以L不是正规集。 27 第三章 习题 1给定CFG G=(S,A,B,C,a,b,c,P,S)，其中， P：SA|B, AAb|bS|C|b, BAB|Ba, CASb, 去掉G中的无用符号和单一生成式。 解：定义：给定CFG G=(,S)，如果在G中存 在派生S *X*w，其中w*，X， 则称符号X是有用的，否则X是无用的。 利用两个引理，去掉无用符号。 注意：一定是先应用引理3-2.1, 后应用引理3-3.2 ! 28 引理3-2.1 给定CFG G=(,S)，且L(G)，可 以找到一个与G等价的CFG G=(,
