1、天津大学硕士学位论文非参数响应曲面方法研究及应用姓名：肖粤翔申请学位级别：硕士专业：管理科学与工程指导教师：何桢20031201中文摘要响应曲面方法( R S M ) 用于解决未知响应曲砸的最优值问题。能否得到好的未知曲面近似，是寻找最优解条件的前提。然而，响应曲面是复杂的，我们使用传统的响应曲面方法很容易落入局部极值点当中，它受到初始中心点的影响比较大，而且通常所采用的一阶和二阶多项式不足以完全反映出实际影响因素本身及其交互作用。非参数响应曲面方法是一个好的选择，它能够应付足够复杂的情况，并得到了广泛应用。本文分析了响应曲面方法的三个阶段，然后采用了多阶段的思路来考虑非参数响应曲面方法。首先
2、是可以利用非参数回归的强大的拟合捶值能力对整个可行域进行拟合，将试验点均匀分布到整个试验可行域上，这样就能够把整个可行域的响应曲面表示出来，然后对这个曲面的形状进行判断，找出其最优值的可能位置。其次，发展了一种利用回归方程插值的神经网络方法来拟合最优值附近曲面，它既具有回归方程光滑稳定的特点，又具备神经网络很高的回归精度的优点，能够适应各种复杂的曲面，而且不会有过拟合的的缺点。本文针对响应曲面方法的不同阶段，利用非参数方法的工具来分析和计算，形成了多阶段的非参数响应曲面方法，根据实际需要来在响应曲面方法的各个阶段使用传统的试验设计、快速搜索、多项式拟合或者非参数搜索和拟合。最后本文利用了两个例
3、子来说明了多阶段非参数响应曲面方法的求解过程和应用方法，表明该方法是有效的。关键词：响应曲面方法非参数回归神经网络非参数响应曲面方法A B S T R A C TR e s p o n s es u r f a c em e t h o d o l o g yC a S M ) i su s e dt og e tt h eo p t i m a lv a l u eo f如妇。蚴r e s p o n s es u r f a c e ，T og e tag o o dr e s p o n s es u r f a c ei sv e r yi m p o r t a n tt of i
4、n dt h eo p t i m a lv a l u e B u tt h es u r f a c ei so f t e nm o r ec o m p l e xt h a nt h a tw ec a ni m a g i n e T h ec l a s s i c a lR S Mw i l ly i e l dal o c a lo p t i m a lr e s u l t ，f o rt h es a k eo ft h el o c a t i o no ft h eo r g i n a lc e n t e rp o i n t S o m e t i m e s
5、t h ep o l y n o m i a lf i t t i n gc a n n o tr e f l e c tt h eh i 曲o r d e ri n t e r a c t i o nb e t w e e nt h ei n f l e u n c ef a c t o r s N o n p a r a m e t r i cr e s p o n s es u r f a c em e t h o d o l o g y ( N P R S M ) i sag o o dt o o lt od e a lw i mt h ec o m p l e xp r o b l
6、e ma n dc a nc o n q u e rt h es h o r t c o m i n g so f c l a s s i c a lR S Mm e t i o n e da b o v e T h et h e s i sd e s t r i b e st h et h r e ep h a s e so fR S M ，w h i c hi SD O E ，d a t af i t t i n ga n ds e a r c h i n gf o rt h eo p t i m a lv a l u e ，a n dt r i e st om a k eN P R S
7、Ma n a l y s i si nt h es a m ew a y F i r s t l y , t h ed e s i g no fs p a c e f i l l i n g 鲥di sf i tf o rt h en o n p a r a m e t r i er e g r e s s i o n T h en o n p a r a m e t r i cr e g r e s s i o nf i t st h eS U l m a e ew e l lb yu s i n gt h es p a c e - f i l l i n gg r i da n dC a
8、l le a s i l yf i n dt h eo p t i m a la r e a S e c o n d l gar e g r e s s i o n - b a s e di n t e p o l a t i o na r t i f i c i a ln e u r a ln e t w o r ki sd e v e l o p e dt of i tt h eo p t i m u ma r e a ，T h er e g r e s s i o n b a s e di n t e p o l a t i o na r t i f i c i a ln e u r a
9、 ln e t w o r ki ss t e a d y , p r e c i s e ，a n df i t sc o m p l e xu n k n o w ns u r f a c ew i t h o u to v e r f i t t i n gl i k ea n yo t h e ru s u a ln e u r a ln e t w o r k s T h et h e s i sp r e s e n t sam u l t i p h a s eN P R S M ，w h i c hc a l lB s eD O E ，p o l y n o m i a lf
10、i t t i n g ，n o n p a r a m e t r i cr e g r e s s i o n ，a n dn e u r a ln e t w o r ki nd i f f e r e mc o n d i t i o n sw h e ni ti sn e e d A tt h ee n do ft h et h e s i s ，t w oe x a m p l e sa r ea n a l y z e db yt h em u l i t p h a s eN P R S Ma n dt h e yp r o v et h a tt h em e t h o d
11、i sv e r ye f f e c f i v e K E YW O R D S ：R e s o p o n s eS u r f a c eM e t h o d o l o g y , N o n p a r a m e t r i cR e g r e s s i o n ，A r t i f i c i a lN e u r a lN e t w o r k s ，N P R S M独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果。除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得叁洼盘茎或其他教育机构
12、的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名搠签字嘲护m ，歹日学位论文版权使用授权书本学位论文作者完全了解叁壅盘茎有关保留、使用学位论文的规定。特授权鑫注基鲎可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名导师签名：签字日期：a 吧殍I a 月琴日签字日期：D ，年，2 ，月f r 日第一章绪论第一章绪论响应曲面方法( R e s p o n
13、 s eS u r f a c eM e t h o d o l o g y , R S M ) 是数学方法和统计方法的产物，是用来对所感兴趣的问题进行建模和分析的，其目的是为了优化这个响应【l l 。在产品全生命周期的各个阶段，响应曲面方法都提供了有效的试验方法，寻找出最优试验条件以大幅度降低开发的时间和成本，使产品具有更高可靠度，提高产出率和减少不良品。响应曲面能够提供一个可靠、可遵循的程序，以达到突破制造过程的瓶颈或者达到设计目标。响应曲面方法通常使用一阶或者二阶的多项式回归方程拟合曲面，并且假定试验方差符合正态分布。试验设计通常是采用正交设计或者最优设计。在试验设计阶段，设计的方案是以
14、一阶或二阶多项式回归为基础的，有的时候实际因素的范围比较宽广，而且响应曲面的真实形状是比较复杂的，这样的试验设计只在能够局部的小范围内满足需要，求出来的极值是局部的极值，而我们所需要的全局意义上的极值，所以有必要在这方面做出研究。从另一方面来讲，在曲面拟合阶段，因为针对低阶多项式的试验设计和拟合曲面的低阶多项式的精度存在局限性，它有时候不能体现影响因素本身和交互的更高阶的作用，使用神经网络能在不知道未知函数的形式前提下做出有效的拟合。1 1 研究背景与现状响应曲面方法的领域在近十年中一直在增长，并且其他领域中的统计学的进步也使它受益匪浅。对响应曲面方法感兴趣的实践者们的范围一直在扩大，当然，我
15、们知道，没有实际的应用响应曲面方法是无法生存的。使用响应曲面方法的范围已经扩展了许多。已经不再是仅有化学、食品和其他制造过程需要响应曲面方法工具。生物学、生物医药和快速发展的生物分子学领域的教授们都对响应曲面领域产生了浓厚的兴趣。当然对于我们在工业生产中所起的作用来说，响应曲面方法同样非常重要。在实际应用方面，无论在产品设计或者制造发展过程，响应曲面方法提供了一个有效的试验方法；在产品全生命周期的前期，寻找出最优试验条件以大幅度降低开发的时间和成本，使产品具有更高可靠度；在制造过程中，也可以找出制造过第一章绪论程中的最优条件以提高产出率和减少不良品。响应曲面能够提供一个可靠、可遵循的程序，以达
16、到突破制造过程的瓶颈或者达到设计目标，如缩短生产周期、提高产能或减少不良品，以达到最佳生产管理或经济效益。通常认为响应曲面方法中包括试验设计，模型拟合和过程优化。近来，稳健性方法、非参数方法和贝叶斯设计已经成为它的一部分。然而无论如何，响应曲面方法的目标对于实践者们来说，仍然保持在B o x 和W i l s o n 的文章所描述的范围之内。也就是说，一个人打算基于一些定量的过程因素( 或者是定性和定量的混合因素) 来设计一个试验，然后根据能够提供过程改进以至于过程优化的设计变量的目标来分析结果数据。在对响应曲面方法的回顾和对新实践者的建议中，不提到B o x ( 2 1 3 的一阶设计和B
17、o x 与H t m e t e r 4 1 的富有创造性的可旋转性是不完整的。在本文中从头到尾贯穿了多阶段试验设计的思想，在B o x 的许多著作中都讨论了对第一阶段设计的增强。当然这里没那么多地方来写B o x 的贡献，但是，很明显我们在2 1 世纪中对任何复杂的响应曲面方法问题提出的解决方案都会受到他的影响。已经有多响应、更复杂的模型和一些根本就不适用于用多项式逼近的情况都开始使用响应曲面方法，而计算机技术的提高使得这些问题的解决成为可能。一般的来说，响应曲面方法包括两阶段设计。第一阶段设计包括进行因子试验设计( 析因设计和全因子试验) ，拟合一阶数学模型，确定模型及最速上升( 或下降)
18、 方向并求取该阶段最优值。根据最速上升或下降方向，可以确定下次试验各控制变量的变化范围。其中，在因子试验中要增加试验中心点，它用于估计模型拟合误差，并有助于估计二次项系数。第二阶段设计主要工作是当发现模型拟合误差显著时，拟合二次回归方程，绘制出响应曲面与等值线图。响应曲面方法的具体设计方法很多，其中最常用的方法是中心复合设计( C e n t r a lC o m p o s i t eD e s i g n ) ，即在因子试验的基础上增加中点与轴心点，轴心点用于估计二次项系数。然而，在响应曲面方法中，人们总是假定回归函数具有某种特定的形状，一般是线性的或者可以化为线性的形式，其中包含若干未知
19、参数。对于随机误差的分布，则往往假定为正态的。在参数判别分析中，则常常假定哪些作为判别依据的、随机取值的指标在各个可能的类别中都服从正态分布。在这个基础上发展的方法到现在仍然常用，但是理论和经验都显示这种方法在使用是并非总是能提供好的结果。这主要是因为在不少情况下，关于参数模型的基本假定与实际情况有较大的差距。这种情况促进了分析中的非参数方法的发展。其特点是对模型的要求很松：回归函数的形式可以任意，随机误差也不必服从任何分布。第章绪论核函数估计方法是最为流行的非参数回归方法之一。N a d a r a y a - W a s t o n 估计胪】【6 J 和l G a s s e r - M
20、U l e r 估计【7 是最为常用的核函数估计。周志丹用N a d a r a y a W a s t o n估计，通过一个财政收支的实例，与最小二乘法进行了比较圈。张守一等用应用最小二乘法参数回归模型和核回归模型对1 9 9 1 年至1 9 9 2 年第四季度城镇居民消费数据C U H 进行事后预测 9 】。薄志鹏等在G P S 相对定位和几何水准测算【1 0 】，Q i a n在可靠性理论方面的应用【1 1 1 ，表明在各个方面非参数回归都得到了广泛应用。人工神经网络( A N N ) 近年来成为描述非线性的函数的种重要工具。它通过模仿神经元的学习能力来学习一个特定系统中的自变量和因变量
21、之间的隐含的内在关系，并且能够以很高的精度逼近未知的曲面。近年来有许多神经网络在响应曲面方法中的成功应用，他们还比较了神经网络方法和传统的响应曲面方法对实验模拟优化的结果。S V a i t h i y a l i n g a m 等【1 2 】在制药中用响应曲面方法和神经网络同时对三变量和反应分解外形进行了成功的模拟。J 。B o u r q u i n 等【l3 】讨论了响应曲面方法和神经网络进行数据拟合以及在出现离群值的时候二者的稳健性分析，在文献【H l 中的试验比较中表明神经网络的数据拟合性能和预测性能较好，在非线性关系方面是传统模拟的一种有效替代方法，在文献【l5 l 中，随机的试
22、验计划中神经网络表现良好而响应曲面方法较差，在实验计划组织良好时响应曲面方法则效果较之神经网络好一些。在一个关于褪黑激素的皮肤穿透载体组合成分的实验中，其试验结裂“1 用神经网络和多项式分别设计了模型，同时利用两种方法进行了分析，并且比较了二者的泛化能力，预测结果表明，神经网络的表现好于响应曲面方法。在文献I l 中，R M 。G a t e ：a - G i m e n o等利用遗传算法和剪枝方法对神经网络进行了优化，应用于食品中的微生物增长预测，取得良好的效果。对于曲面拟合和寻找最优解的两个阶段，文献 I8 】分别根据其特性用H o p f i e l d 网络来求得高阶多项式的参数，用B
23、 P 网络求曲面的梯度进而判断网络的最优值。神经网络方法虽然在一些应用中取得了成功，但是仍然存在的一个主要问题是要求实验样本点较多。当遇到实验成本昂贵或者条件限制而导致试验次数少的情况时，由于神经网络的参数远远多于试验点，因此由之带来的过拟合问题也是令人难以解决的。通常规模过小的网络很难给定问题的输入和输出之间的关系，即完成对训练样本的学习较为困难，但它却具有一定的泛化能力；规模过大的网络只能表示训练样本的输入和输出之间的关系，能很好的学习训练样本，输出误差小，却无法表示出未知样本的关系，即网络的泛化能力差。所以神经网络的结构要不断的进行调整，使它尽量在符合拟合水平的要求下能够做到结构最简单，
24、但是这始终是个大问题，一直在探讨中而无法真正解决，甚至无法从定性的角度去得到泛化能力与结构的关系。第一章绪论1 2 研究目的和意义本文针对经典的响应曲面方法过程的三个主要的组成阶段，试验点的选取、在曲面上的试验点中间插值和寻求最优解做出分析。探讨了多阶段非参数响应曲面方法的整个过程，并给出实例分析。在试验点的选取方面，非参数响应曲面方法使用非参数回归拟合整个试验的可行域，与拟合密切相关的试验设计方案要从传统的一阶、二阶设计转变为空间网格设计。这种设计的优势明显，因为非参数回归是假设没有校正的多项式模型，这样在特定区域产生的预测值是非常独立于近似的数据点的。而且，这样的设计变量范围是相当宽的，要
25、宽过标准响应曲面方法工具所允许的范围。用一个全局的观点实施过程，而不是局部的范围。在接近试验的最优点的附近区域的曲面拟合上，对于原有的多项式拟合方法不能反映高阶作用的缺陷和常用的神经网络虽然能够很好拟合但是往往过拟合的情况，研究解决这两种问题的办法，将两种方法结合起来，同时利用了多项式光滑的内插和外延特性，神经网络对曲面的精确拟合的能力，达到理想的拟合水平和预测能力。本课题的主要理论意义体现在响应曲面方法作为逐步改进的重要工具之一，作为统计工具和数学工具的结合体，不断在其研究中加强的拟合能力是非常重要的，使响应曲面方法能够适应更复杂的响应函数。响应曲面方法作为在全局上搜索最优值的个重要的方法，
26、本身却由于搜索方法和拟合能力的限制，往往陷入局部最小值，尽管有不少方法来试图解决这个问题，如贝页斯设计、计算机产生的试验方法、多阶段试验设计等等，增强了找到最优值的概率，可是毕竟不能确保目标达到。用非参数回归拟合全可行域，是利用非参数回归的极强的插值拟合能力，能够充分表现出曲面的形象特征。而对于非参数回归的误差，用多阶段试验设计的方法又从实际的曲面上去找到真实的最优值及其所在区域，最后用插值的神经网络来拟合可以取得非常好的拟合与预测结果。充分的使用多阶段，非参数和传统的试验设计与分析，对于结合统计与数学方法的响应曲面方法，是一个富有想象力和应用意义的提高。本课题的主要实用意义体现在。中国的市场
27、竞争日趋激烈，为了提升企业的竞争力，需要从质量水平、生产工艺、资源投入等多个方面来进行改进。从产品的质量方面来看，企业的产品和服务质量不仅仅要达到市场越来越高的要求，而且要能够不断的做出改进，并且维持这样的质量水平，同时达到低成本的目的。加强响应曲面方法的改进研究，能够在最经济的条件下实现满足企业要求的生产结果，达到寻找出最优试验条件以大幅度降低开发的时间和成本，使第一章绪论产品具有更高可靠度，找出制造过程中的最优条件以提高产出率和减少不良品，以达到最佳生产管理或经济效益，满足顾客需求的目的。从生产工艺水平的提高上来看，响应曲面方法是有效分析最优生产条件的方法，同时能够在更多实践经验和新的试验
28、设计的基础之上找出更好的生产条件和质量水平，结合企业的实际能力和资源，得到适合企业自身的生产工艺。对于企业的资源投入来说，使用响应曲面方法找到的生产条件和结果是在企业现有条件下的最佳结果，可以节省投入，优化产出。1 3 论文的研究内容和技术路线本论文的研究内容主要是通过研究响应曲面方法的一般流程，包括试验设计、曲面拟合和寻优的不同阶段，阐述传统响应曲面方法存在的缺陷和问题，由于这些问题可以通过非参数方法来得到某种程度的解决，因此对非参数回归和神经网络进行了适当阐述，然后分成不同的阶段和过程对非参数回归和神经网络与传统响应曲面方法结合，包括非参数回归的全局搜索过程，插值神经网络的研究与使用。本文
29、共分为五章，第一章为绪论，说明文章的研究背景与现状，阐述本文的目的和意义，包括了理论上的意义和实际意义，以及研究内容和技术路线；第二章为响应曲面方法的一般性描述，从多个阶段阐述了所使用的试验设计方案和拟合结果的求解过程与分析；第三章概要讲述了非参数回归，特别是核光滑回归，与神经网络的一般特点和优势，以及最常用的B P 神经网络方法；第四章阐述了多阶段非参数响应曲面方法的过程，从多阶段的角度，合并了非参数回归与神经网络，并详述了改进的插值神经网络过程；第五章使用两个例子，一个是构造出来的，另一个是实际的，将非参数神经网络应用在上面，得到了满意的结果。第六章总结了整篇文章，并给出了今后的研究方向。
30、本文的技术路线见图1 - 1 。第一章绪论图1 - 1 文章的技术路线图6 第二章响应曲面方法概述第二章响应曲面方法概述在响应曲面方法的发展历程中，由1 9 5 1 年B o x 和W i l l s o n 数学模式的建立与推导开始，到1 9 6 6 年H i l l 和H u n t e r 的相关研究，其理论模式的建立和研究已经趋于完整，在1 9 6 6 年到1 9 8 8 年期间，相关的研究延伸到探讨模式的稳健性、可旋转的因予试验等等方面。这时响应曲面方法已经成为实际中用于求解最佳试验或者作业条件的有利工具，普遍应用于电子、机械、农业、化学工业和工业流程改进等研究领域中。2 1 响应曲
31、面方法概述2 1 1 响应曲面方法基本概念响应曲面方法( R e s p o n s eS u r f a c eM e t h o d o l o g y , R S M ) ，是数学方法和统计方法结合的产物，是用来对所感兴趣的响应受多个变量的影响的问题进行建模和分析的，其目的是优化这个响t 直【”。响应曲面方法是最早由B o x 和W i U s o n 提出理论基础，经过H i l l 和H u n t e r整理发展，于1 9 6 6 年建立更广泛的响应曲面定义和最优化模式。响应眭面方法是一种结合数学应用、统计分析和试验设计的技术探讨影响因素与响应输出之间的数学模式关系，经由试验设计者
32、在所关心的试验区域内以有系统的方式进行试验，取得所希望的响应值和因素水平。响应曲面方法是一系列有效的发展、提高和优化过程的统计和数学方法技术的集合。它不但在设计和发展新产品方面有重要作用，而且对于现有产品设计的改进方面也很有效。响应曲面方法最广泛的应用还是在工业领域，特别是针对那种产品或过程的质量特性和性能指标同时存在多个输入变量的情况。这种性能指标或者质量特性被称为响应。这些指标大部分是连续的，尽管也会偶尔有一些离散的变量。R S M的大部分实际应用包含的响应都超过一个。而这种输入变量有时候就叫做自变量，它们是工程师和科学家在做测试或试验的时候所考虑的主要影响因素。第二章响应曲面方法概述2
33、1 2 响应曲面方法的过程通常，假设科学家或者工程师( 统称试验者) 关心的是某个产晶、过程或者系统的响应Y ，与响应Y 对应的是一系列的输入变量，我们称之为因素，设某一过程有k 个因素，点，受，氕。建立输入与输出响应之间的函数关系Y = 厂( 点，手2 ，孝) + ( 2 - 1 )其中真实响应函数f 的形式未知，也许非常复杂，e 表示系统误差，表示由其它变异来源造成的f 所无法解释的方差。e 包括了各种影响，如响应的测量误差，系统或者过程自身的其它的变异来源( 背景噪声，统计过程控制中的一般因素变异) ，其它变量的作用，等等。我们认为e 是一种统计意义上的误差，通常假设均值为0 ，方差为盯
34、2 。如果e 均值为0 ，那么E ( y ) = v = E 厂l ，善2 ，彘) 】+ E ( 8 )，。：厂( 卣，岛，磊)在式( 2 2 ) m 的变量眚，彘，彘，通常被成为自然变量，因为它们是测量值的自然单位，如温度，压力或浓度，等等。在许多响应曲面方法问题中，很容易把这些自然变量转化为规范变量而，如。，砩，这些规范变量通常都是没有量纲的，均值为0 和具有标准方差。在规范变量的情况下，真实响应函数( 2 2 ) 可以写为玎= f ( x l ，x 2 ，x t ) ( 2 3 )因为真实响应函数f 是未知的，我们必须对它求一个近似。事实上，R S M 的成功运用主要得靠试验者对f 的逼
35、近能力。通常认为响应曲面方法中包括试验设计，模型拟合和过程优化。近年来，稳健性方法、非参数方法、贝叶斯设计和一般线性模型( G e n e r a l i z e dL i n e a rM o d e l s ，G L M s ) 已经成为它的一部分。响应曲面方法在这些年中发生了实质上的变化，并且其中的大部分是有积极意义的和激动人心的。但是无论如何，响应盐面方法的目标对于实践者们来说，仍然保持在B o x 和W i l s o n 【1 9 l 的那篇具有开创性的文章所描述的范围之内。也就是说，个人打算基于一些定量的过程因素( 或者是定性和定量的混合因素) 来设计一个试验，然后根据能够提供过
36、程改进以至于过程优化的设计变量的目标来分析结果数据。在大多数响应曲面方法的问题中，响应和自变量之间的关系形式是未知的。这样一来，响应曲面方法的第一个步骤就是寻求因变量和自变量集合之间的真实函数关系的一个合适的逼近式。通常，在自变量的某一区域内的一个低阶的多项式是可用的。如果响应适用于用自变量的线性函数建模，则近似函数是一阶模型y = 芦o + 芦l x l + 展x ，+ + 履x I + g( 2 - 4 )如果系统有弯曲，则必须用更高阶的多项式。例如二阶模型第二章响应曲面方法概述y = 磊+ 聃+ 岛x 。o + 鼬。2 + s( 2 5 )，= li = l1 = 1 t j忙l几乎所有
37、的响应曲面方法问题都用这些近似多项式中的一个或多个。当然，个多项式模型在自变量的整个空间上是真实函数关系的合理的近似式是不可能的，但在一个相对小的区域内通常做的很好。最小二乘方法可以用来估计近似多项式的参数，然后在拟合曲面上做响应曲面分析。如果拟合曲面是真实响应函数的一个合适的近似式，则拟合曲面的分析就近似的等价于实际系统的分析。如果能够适当地利用试验设计来收集数据，就能够最有效地估计模型参数。关于拟合响应曲面的设计叫做响应曲面设计。响应曲面方法是一个序贯方法。首先是确定哪些变量或者因素是重要的。这一步里面要把那些不重要的删除掉。一旦重要的变量确定下来，试验者的目的就是判断自变量现有的水平下，
38、响应值离最优点到底是近还是远。如果现有的自变量的水平下，响应值不是最优的，那么试验者就将通过一系列的调整来把这些过程变量向着最优值的方向移动。通常，当我们是在响应曲面相应的自变量区域内的某个点时，在此点处系统只有微小的弯曲，从而用一阶模型是恰当的。那么我们就要快速而有效的到达最优点所在的邻近区域，一般使用最速上升法。一旦最优点的区域被找到，就可以利用更精细的模型，例如二阶模型。当取得了一个合适的近似模型，试验者会对它进行分析以便确定最优点的位置，即过程的最优条件，以及进一步的分析。2 1 3 响应曲面方法的应用和质量改进响应曲面方法在解决工业问题上很有效，一般而言，可以将其应用分成三个主要方面
39、：( 1 1 在感兴趣的区域上确定响应曲面的形状。如果未知的响应函数在当前的可行域上被成功的拟合出来，那么试验者就可以预测当条件改变的时候响应能够发生的变化；( 2 1 优化响应。在工业应用中，一个很重要的问题就是决定优化过程的条件。试验者能够通过R S M 确定最优条件的水平和最优的响应；( 3 1 按照顾客的特殊要求选择操作的条件。大多数响应曲面问题都会要求几个响应同时达到要求。在最近的二十年中，美国和欧洲的工业组织变得很关心质量改进了。各种统计方法，包括控制图( S t a t i s t i c a lP r o c e s sC o n t r o l ，S P C ) 和试验设计(
40、 D e s i g no fE x p e r i m e n t D O E ) 都在其中扮演了很重要的角色。响应曲面方法作为试验设计第二章响应曲面方法概述的一个分支是很受重视的。它是发展新过程的关键技术，能够优化过程的性能，改进新产品的规划和设计。响应曲面方法也常常是个并行的工程工具。在产品设计和过程改进中，质量工程师、制造工程师和运作团队通常会组成团队实施响应曲面方法。目标就是质量改进，包括有减少变异，提高产品和过程性能，等等。2 2 拟合响应曲面的试验设计只有通过良好的试验设计获得有效、可靠的数据，并进行适当的拟合，才有可能得到响应曲面的近似函数y = 厂( 鼻) + g 。从解析几
41、何的角度考虑，Y = f ( X ) + s 是坐标空间( 一，x ：，札) 上的一个曲面。对Y = f ( X ) + s 进行分析，寻找使响应输出变量Y 最优的各因素水平的组合，并对各因素是如何影响响应变量的过程获得了解，这就是R S M 所研究的主要内容。在选择响应曲面的设计时，理想的设计的一些特点如下【2 0 】：( 1 ) 所研究的整个区域内能够提供数据点的合理的分布；( 2 ) 容许研究模型的适合性，包括对拟合不足；f 3 ) 容许分区组进行试验；( 4 ) 容许逐步建立较高阶的设计：( 5 ) 提供内部的误差估计量；( 6 ) 不需要大量的试验；( 7 ) 不需要自变量太多的水平
42、；f 8 ) 确保模型参数计算的简单性。这些特点有时候是相互矛盾的，所以应用到设计选择中去时，必须经常加以判断。在试验设计方面，不提到B o x 2 1 3 1 的一阶设计以及B o x 和D r a p e r t 4 的, g 有创造性的可旋转性是不完整的。然而已经发生的变化反映了这样一个事实实践者们更加乐观和雄心勃勃地向更复杂和艰难的问题动手了。举例来说，我们已经有多响应、更复杂的模型和一些根本就不适用于用多项式逼近的情况。我们有难以想象的变量个数，以及很明显的非正态响应，这甚至向经典设计的适用性提出了质疑。但是在通常情况下，传统的试验设计仍然是有效的，近优的和最为广泛使用的。第二章响应
43、曲面方法概述2 2 1 拟合一阶模型的设计设要拟合k 个变量的一阶模型，响应为Y ，模型同犯- 4 ) ，如下土Y = p o + ? 。p t x i + s百有一类独特的设计，它使得回归系数 夕j 的方差极小化。这就是正交的一阶设计。一个一阶设计时正交的，如果( X X ) 矩阵的非对角线元素全为零。这一点意味着盖矩阵的列的交叉乘积之和为零。正交的一阶设计类包括了2 析因设计和2 分式析因设计系列。在使用这些设计时，我们假定k 个因素都规范为标准化的水平1 。作为个例子，设我们用2 3 设计来拟合一阶模型Y = P o + p , x l 十屈x 2 + 岛x 3 + 8拟合此模型的z 矩
44、阵是容易证明，此设计的( X X ) 矩阵的非对角线元素全为零。屯f( a ) k = 2 个变量图2 - 1 单纯形设计( b ) k = 3 个变量黾。一oo，屯一以，oo ，l1第二章响应曲面方法概述另一种正交一阶设计是单纯形设计。单纯形设计对于一阶设计来说是饱和的，即假设对于交互作用的信息我们一无所知。对于有k 个变量的一阶模型，单纯型设计仅仅需要N = k + 1 个观察值，这是单纯型设计的主要特点。从几何上来讲，单纯型设计点就是等边图形的顶点。这样一来，k = 2 的单纯形设计是一个等边三角形，1 = - 3 时是正四面体。二维和三维的单纯型设计如图2 1 所示。2 2 2 拟合二
45、阶模型的设计二阶模型设计的主要目的就是要令试验者能够拟合二阶模型( 2 5 ) ，如下Y = P o + 髓+ P o x 。x ，+ 统一2 + sI # lf = lj = l ，i 七个观察值，令表示变量t 的第j 个观察值或第j 个水平。数据的表现形式如表2 1 ；表2 - 1 多元线性回归的数据第二章响应曲面方法概述可以将模型用数据写为y i = P o + p l x 、i + p 2 x 2 i + + pk x q + J= 风+ ，b + 勺，- 1用矩阵表示为v = X 8 s其中y =疗=My 2反届；9 iZ =t ( 芹l l 一墨) ( x 2 1 一- 2 ) (
46、 x 女l 一耳)1 ( x 1 2 一墨) ( x 2 2 一而) ( x t 2 一覃 )1 ( 而。一墨) ( x ：。一夏) 。( x h 一瓦)蜀2：占”要求最小二乘估计量的向量B ，只要使三= 巧= 占，占= ( y 一邶) ( y 一郧)( 2 _ 7 )= l取极小值。L 可表示为L = Y I Y 一8 X Y Y j X p + 母j X j X 0= Y t Y 一2 p l X t Y 七毋t X l X p可得分= ( x j ) 。z y( 2 - 8 )2 3 2 二阶回归= 阶模型在R S M 中得到了广泛的应用，主要是有以下的几个优点：( 1 1 二阶模型本身
47、已经比较复杂。它能够胜任拟合很广泛的函数形式，所以常常能够逼近真实的响应曲面；( 2 1 它的参数也很容易估计。用最小二乘法能够计算其参数值；( 3 ) 在解决响应曲面问题的实际应用中，二阶模型的确也做的很好，有大量成功的例子。设某一过程的影响因素为x = “，x ，h ) ，响应变量为y 。R S M 二阶模型的一般形式为；第二章响应曲面方法概述用矩阵表示为其中X =五X 2，bkkkkY = 属+ 屈t + 岛v ，+ 属 2 + 占i = li M ，= l ，J i = 1届B ：8 。Y = Z o + x f l + X B X + 占，B =届。届：2觑：运用最小二乘法，可得到式
48、( 2 9 ) 中各系数的值，计算方法如下。设拟合的二阶模型为：歹= b o + z 吾+ X T X令x ”= 【l ，而，X P ，X 1 2 , x 2 2 ，扎2 ，_ x 2 ，墨码，X 坼】，b ”= b o , b l ，b k ，b l l ，6 2 2 ，b ，b 1 2 ，b l3 ，b k _ 1 女则，b ”= ( X ”X “) 1 X ”Y2 4 最速上升法( 2 9 )r 2 一l O )( 2 - 1 1 )系统的最优运行条件的初步估计常常远离实际的最优点。在这种情况下试验者的目的是要快速地进入到最优点的附近区域。我们希望利用又简单又经济有效的试验方法。当原理最
49、优点时，通常假定在X 的一个小区域范围内一阶模型是真实曲面的合适近似。最速上升法是沿着最速上升的路径，即响应有最大增量的方向逐步移动的方法。当然，如果求的是最小值，则叫做最速下降法。拟合的一阶模型是上多= P o + 届一i = I与一阶响应曲面相应的多的等高线，是一系列平行的直线，如图2 5 所示222刖剐刖22刚纠凡第二章响应曲面方法概述工I图2 - 5 一阶响应曲面的等高线与最速上升路径最速上升的方向就是多增加最快的方向。这一方向平行于拟合响应曲面等高线的法线方向。通常取所感兴趣的区域的中心并且垂直与拟合曲面等高线的直线为最速上升路径。2 4 1 最速上升法的基本步骤我们将最速上升法的步
50、骤列出如下：( 1 1 用个正交设计拟合一个平面的( 一阶) 模型。两水平设计就足够了，通常还建议加上中心点：( 2 1 如果是需要最大值的话，就计算最速上升路径；如果需要的是最小值，那么计算最快下降路径。最快上升路径的计算是为了找到响应值增加最快的方向，而最快下降路径则是响应值减少最快的方向；( 3 ) 沿着这个选定的方向做试验，在上面做单次或者重复次数的试验，观察其响应值。这个结果会显示出响应值的变化情况。在这个路径上的某些区域，这种增长会逐步减少到甚至消失。这种情况往往发生在当试验点远离初始试验设计位置的时候造成简单的一阶模型退化。通常第一次的试验设计位于设计范围的周边上，或者是在一些重
