1、第34卷第8期自动化学报Vol.34, No.8 2008年8月ACTA AUTOMATICA SINICAAugust, 2008 基于LS-SVM的非线性多功能传感器信号重构方法研究 魏 国 1 刘 剑 1 孙金玮 1 孙圣和 1 摘要提出了基于最小二乘支持向量机(Least squares support vector machine, LS-SVM)的非线性多功能传感器信号重 构方法.不同于通常采用的经验风险最小化重构方法,支持向量机(Support vector machine, SVM)是基于结构风险最小化准 则的新型机器学习方法,适用于小样本标定数据情况,可有效抑制过拟合问题并改
2、善泛化性能.在SVM基础上, LS-SVM将 不等式约束转化为等式约束,极大地简化了二次规划问题的求解.研究中通过L-折交叉验证实现调整参数优化,在两种非线 性情况下对多功能传感器的输入信号进行了重构,实验结果显示重构精度分别达到0.154%和1.146%,表明提出的LS-SVM 重构方法具有高可靠性和稳定性,验证了方法的有效性. 关键词多功能传感器,信号重构,最小二乘支持向量机,交叉验证 中图分类号TP212 Study on Nonlinear Multifunctional Sensor Signal Reconstruction Method Based on LS-SVM WEI G
3、uo1LIU Jian1SUN Jin-Wei1SUN Sheng-He1 AbstractIn this paper, the nonlinear multifunctional sensor signal reconstruction method based on the least squares support vector machine (LS-SVM) is proposed. Diff erent from the reconstruction methods with empirical risk minimiza- tion, the support vector mac
4、hine (SVM) is a new machine learning method based on structural risk minimization, which is applicable to the case of small sample size calibration data, and can effi ciently restrain overfi tting and improve general- ization capability. With SVM as a basis, the LS-SVM involves equality constraints
5、instead of inequality constraints, so the solving process of the quadratic programming problem can be greatly simplifi ed. In this study, L-fold cross validation is adopted to optimize the adjustable parameters. The reconstruction of input signals of a multifunctional sensor was carried out in two s
6、ituations of diff erent nonlinearities for which the reconstruction accuracies were 0.154% and 1.146%, respec- tively. The experimental results demonstrate the high reliability and high stability of the proposed LS-SVM reconstruction method, as well as the feasibility. Key wordsMultifunctional senso
7、r, signal reconstruction, least squares support vector machine (LS-SVM), cross vali- dation 对于实际存在的一类多参数测量问题,由于多 个被测量同时交叉作用于传感器,使得传统测量方 法难以应用或导致测量准确度降低.而多功能传感 器表现出多输入多输出特性,可同时敏感多个物理、 化学参量,通过巧妙利用传感器的交叉敏感特性来 实现多参数测量任务,提高测量准确度.近年来,随 着微机电加工技术的发展,多功能传感器以其体积 小、功耗低、多功能等优势逐渐成为现代传感器发 展的主流趋势之一.多功能传感器在环境参数和一 收
8、稿日期2007-04-16收修改稿日期2007-10-08 Received April 16, 2007; in revised form October 8, 2007 国家自然科学基金(60772007, 60672008),中国博士后科学基 金(20070410258),教育部留学回国人员科研启动基金(BAQQ 24403602)资助 Supported by National Natural Science Foundation of China (60772007, 60672008), China Postdoctoral Science Foundation (20070410
9、258), the Scientifi c Research Foundation for the Re- turned Overseas Chinese Scholars of State Education Ministry (BAQQ24403602) 1.哈尔滨工业大学自动化测试与控制系 哈尔滨150001 1. Department of Automatic Measurement and Control, Harbin Institute of Technology, Harbin 150001 DOI 10.3724/SP.J.1004.2008.00869 般工业测量12中已经
10、得到开发应用,预计在航空、 航天、医学等领域也会有很大的发展潜力和广阔的 应用前景. 一般而言,多功能传感技术包含两方面内容:可 敏感多个参量的多功能传感器设计和基于多功能传 感器输出信号的被测量重构算法研究3.所谓多功 能传感器信号重构,就是由多个观测信号(传感器输 出信号)通过适当的估计算法获取多个被测量(传 感器输入信号)的过程.多功能传感器传递函数的 反函数通常呈高维非线性状态,导致被测参量的求 解空间都在三维或三维以上.而多功能传感器标定 时,通过多次实验所获取的标定数据相对多功能传 感器输入输出空间是一个小样本集合,如何实现小 样本标定数据情况下的信息值分离和重构是多功能 传感器信
11、号处理亟待解决的关键问题.这方面的研 究有助于合理减少标定样本,优化标定策略.目前, 针对多功能传感器信号重构算法的深入研究已经开 展45,但这些方法普遍采用的是经验风险最小化准 则,该准则在样本数量足够大时满足经验风险趋近 870自动化学报34卷 于真实风险； 而当样本数量较少时,最小化经验风险 并不能够保证最小化真实风险,因而易导致泛化性 差和过拟合等问题6.支持向量机(Support vector machine, SVM)是适用于小样本情况的新型机器学 习方法,它利用结构风险最小化准则来代替传统的 经验风险最小化准则,该方法体现了对给定数据逼 近精度和逼近函数复杂度之间的折中思想,因而
12、更 适合小样本情况下的学习问题. 文献7将SVM用于非线性多功能传感器信号 重构,但其只讨论了非线性较小情形,对非线性较大 情形没有加以研究. SVM的求解涉及二次规划问题, 计算复杂、效率低,而最小二乘支持向量机(Least squares support vector machine, LS-SVM)89很 好地解决了这个问题. LS-SVM将不等式约束转化 为等式约束,只需求解一个线性方程组,计算效率 高10.因而,实现小样本标定数据情况下的非线性 多功能传感器信号重构, LS-SVM较SVM更具优 越性. 本文以二输入二输出多功能传感器为对象,研 究利用LS-SVM方法实现非线性多功能
13、传感器信 号重构,同时考虑了非线性较小和较大两种情形.具 体地,介绍了LS-SVM基本理论及其在非线性多功 能传感器信号重构中的算法实现,对L-折交叉验证 (L-fold cross validation)实现调整参数优化及重构 实验结果作了详细分析和讨论. 1LS-SVM简介 SVM最早是针对模式分类问题提出来的,随着 Vapnik对-不敏感损失函数的引入11, SVM已推 广到非线性系统的回归估计. LS-SVM是SVM的 发展,用偏差平方和代价函数替换-不敏感损失函 数,将不等式约束转化为等式约束. 给定样本数据集 D = (x1,y1), ,(xk,yk), ,(xN,yN) xk R
14、n, yk R(1) LS-SVM用如下形式的回归函数对未知函数进行 估计 f(x) = h,(x)i + b(2) 上述函数估计问题转化为如下优化问题 min ,b,e J(,e) = 1 2kk 2 + 1 2 N X k=1 e2 k s.t. yk= h,(xk)i + b + ek, k = 1, ,N(3) 其中h,i表示内积, Rnh是权值向量, () : Rn Rnh是把输入空间映射到高维线性特征空间 的非线性函数,特征空间维数nh可以无穷大,阈值 b R,偏差变量ek R,惩罚参数 0. 为求解优化问题(3),构造Lagrangian函数 L(,b,e;) = J(,e) N
15、 X k=1 kh,(xk)i + b + ek yk (4) 其中, k R为拉格朗日乘子.根据最优性条件有 L = 0 = N X k=1 k(xk) L b = 0 N X k=1 k= 0 L ek = 0 k= ek,k = 1, ,N L k = 0 h,(xk)i + b + ek yk= 0 (5) 消去, e得到线性方程组 01T 1 + I/ # b # = 0 y # (6) 其中, y = y1, ,yNT, = 1, ,NT, 1= 1, ,1T, k,l= h(xk),(xl)i, k,l为矩阵 的第k行第l列元素.根据Mercer条件12,内积可 由一个核函数K(
16、,)表示,则有k,l= K(xk,xl), 其中k, l = 1, ,N. 求解方程组(6)得到b和,并结合最优条件 (5),由LS-SVM确定的回归函数可表示为 f(x) = N X k=1 kK(x,xk) + b(7) 核函数K(,)的选择有多种可能,常用的包括线 性核函数、多项式核函数、多层感知器核函数和高 斯径向基核函数,还可以使用自己定义并证明满足 Mercer条件的核函数.本文采用应用最为普遍的高 斯径向基核函数,其表达式为 K(x,xk) = exp(kx xkk2/22)(8) 其中为核宽度.这样, LS-SVM将二次规划问题 转化为线性方程组求解问题,而且其调整参数(惩罚
17、参数和核宽度参数)比SVM减少了一个,从而 降低了计算复杂性. 2多功能传感器模型及其信号重构算法实现 图1为二输入二输出多功能传感器系统模拟电 阻网络,输入为滑动电阻器RP1和RP2的下部电 8期魏 国等:基于LS-SVM的非线性多功能传感器信号重构方法研究871 阻值与总电阻值的比值x和y,输出为电压值u和 v.图中Vcc= 5V, R1= R2= R3= 1k,取RP1 = RP2,并令P = RP1/R1= RP2/R2,由基尔霍夫 定律得该多功能传感器传递函数为 u = 52x + y + Pxy(2 x y) 3 + Py(1 y) + x(1 x) v = 52y + x + P
18、xy(2 x y) 3 + Py(1 y) + x(1 x) (9) 图1二输入二输出多功能传感器电路模型 Fig.1A circuit model of multifunctional sensor with two inputs and two outputs 本研究利用LS-SVM方法实现上述多功能传感 器模拟电阻网络的信号重构,即构造传感器传递函 数的反函数(由u、v分别重构x、y).这里x、y的 重构区域皆选取为0.1, 0.9.标定实验数据的获取 按照如下规则进行:输入x、y在重构区域0.1, 0.9 内以0.05为间隔进行取值,呈均匀网格分布,再由 式(9)计算相应的输出u、v,
19、可得到N = 17 17 = 289组标定输入输出数据.本文具体研究不同非 线性情形下传感器输入信号的重构问题,而P值在 一定程度上反映了传感器系统的非线性情况: P值 小,非线性小; P值大,非线性大.由于x和y的 取值范围相同,且u和v的取值范围也相同,可以 用u与x的关系直观表示非线性程度(见图2):当 y值确定时, u与x的关系曲线在P = 10时明 显比P = 2时弯曲.图3为x、y呈均匀网格分 布情况下的系统输出u、v分布图,可见系统非线 性越大,输出u、v分布越集中,且这种分布是散 乱的. 由于系统输出与输入在数值上相差较大且量纲 不一致,需对数据进行预处理,即将数据归一化到区
20、间0, 1.归一化后的传感器输入输出信号分别表示 为x0和y0、u0和v0,这里又将u0和v0表示为向量 形式s = u0, v0.利用标定实验数据,通过适当方法 优化参数、2,随之求解相应的b、,最终得到形 如式(7)的反映传感器传递函数反函数的回归函数 x0(s) = N X k=1 x,kK(s,sk) + bx(10) 图2传感器系统输出u与输入x关系(y = 0.1) Fig.2Relationship between output u and input x of sensor system (y = 0.1) 图3传感器系统输出u、v分布 Fig.3Distribution of
21、 outputs u and v of sensor system y0(s) = N X k=1 y,kK(s,sk) + by(11) 调整参数和2的优化方法很多,如交叉验 证、VC界方法、 统计学习理论以及贝叶斯学习等方 法9,其中交叉验证(尤其是10-折交叉验证)在实际 中运用最为普遍,且取得了很好的效果10,1314.本 文同时考察了贝叶斯推论和作为交叉验证特例的快 速留一法,它们对调整参数优化的效果都不如10-折 交叉验证. L-折交叉验证的基本过程为:将样本数据集D (含有N组标定实验数据)随机分成L等份,分别标 记为D1, D2, , DL(每份含有N/L组数据);依 次以Di
22、(i = 1, ,L)为验证集,其余L 1份作 为训练集,对LS-SVM进行总共L次训练和验证, 累加L次验证过程的验证集中重构数据的均方差 (MSEi),作为本次L-折交叉验证的性能参数.累加 872自动化学报34卷 结果可表示为 MSE = L X i=1 MSEi= L N N X k=1 e2 k (12) 其中ek= fPfD, fP为样本估计值, fD为样本真 值.文中fD代表x0或y0, fP代表相对应的估计值. 在利用L-折交叉验证对调整参数和2进行 优化时,使用了网格搜索方法.具体步骤为:给定两 个调整参数的取值范围,取自然对数并均分为M等 份,产生M2种参数组合,在每一种参
23、数组合下分 别对LS-SVM进行交叉验证,并存储相应的MSE, 最后共获得M2个MSE,认为最小的MSE所对 应的调整参数组合是最优的,这一步记为循环1;以 循环1中获得的最优调整参数为中心,重新给定每 个参数一个更小的取值范围,重复循环1的过程,这 一步记为循环2,循环2的实施是为了在循环1的 基础上进一步优化调整参数.有时为获得更理想的 重构精度,需要多次对标定实验数据随机划分并进 行L-折交叉验证. 获得反映传感器传递函数反函数的回归函数后, 还需要通过测试数据进一步考察逼近效果.测试数 据的获取方法与标定实验数据的获取方法类似,只 是x、y的取值间隔更小(这里为0.01),这样可以 保
24、证在考察范围内,测试数据包含所有的标定实验 数据.完成标定和测试之后,就可以利用回归函数 (10)、(11)并经过数据处理后得到被测输入信号的 估计值,从而实现被测量x、y的重构. 3实验结果及分析 实践经验表明,进行L-折交叉验证时,选取过 大的L并不能保证调整参数优化效果得到显著提 高,研究中采用较为普遍使用的10-折交叉验证对 调整参数和2进行优化,图4、图5给出了 P = 2情形下对被测量x重构时的调整参数优 化结果.由图4可知,循环1获得的优化调整参 数为(ln(),ln(2) = (11.6530,1.8259) (图4(b) 中“”所示),对应(,2) = (115031.99,
25、 0.1611), 此时MSE = 5.1226E 008;以上述优化调整参 数组合为中心(图5(b)中“”所示),重新给定 更小的取值范围,循环2获得的最优调整参数为 (ln(),ln(2) = (11.8973,2.0063) (图5(b)中 “”所示),对应(, 2) = (146870.01,0.1345),此 时MSE = 3.3536E 008,明显比循环1中的结 果要小,该和2可作为最终优化调整参数加以 使用.同理,可求得P = 2情形下对被测量y重 构时的最终优化调整参数(, 2) = (307172.17, 0.1727). 在上述选定的最优调整参数情形下, x、y的重 构相
26、对误差分布如图6、 图7所示,具体结果见表1. (a) MSE分布 (a) Distribution of MSE (b) MSE等高线 (b) Contour of MSE 图4交叉验证循环1调整参数优化结果 Fig.4Optimized results of the adjustable parameters in Iteration 1 during cross validation (a) MSE分布 (a) Distribution of MSE (b) MSE等高线 (b) Contour of MSE 图5交叉验证循环2调整参数优化结果 Fig.5Optimized result
27、s of the adjustable parameters in Iteration 2 during cross validation 8期魏 国等:基于LS-SVM的非线性多功能传感器信号重构方法研究873 图6输入x的重构相对误差分布(P = 2) Fig.6Distribution of the reconstruction relative errors for input x (P = 2) 图7输入y的重构相对误差分布(P = 2) Fig.7Distribution of the reconstruction relative errors for input y (P =
28、2) 表1P = 2情形下输入x、y的重构结果 Table 1Reconstruction results for inputs x and y when P = 2 考查区域0.1, 0.9考查区域0.2, 0.8 重构 相对误满量程相对误满量程 对象 差(%)误差(%)差(%)误差(%) x0.1540.0240.0600.017 y0.1540.0250.0740.020 当P= 2时,在0.1, 0.9整个重构区域 内, x的重构相对误差 0.154%,满量程误差 0.024%; y的重构相对误差 0.154%,满量 程误差 0.025%.这些实验数据表明,在非线性 多功能传感器系统非
29、线性较小时, LS-SVM方法可 以很高的精度实现被测信号的重构. 类似地, P = 10情形下对x和y进行重构 时的最终最优调整参数对(,2)分别为(6484.44, 0.0228)和(12252.95, 0.0256), x、y的重构相对误 差分布如图8、图9所示,具体结果见表2.虽然在 P = 10情形下,被测量的重构相对误差较P = 2 情形有所增加,但考虑到P = 10对应的传感器系统 非线性较大,出现这种结果完全合理;另外,从满量 程误差和绝对误差(x、y的重构绝对误差分别小于 0.0019和0.0020)看,重构精度仍然较高,能够 满足实际应用的要求. 图8输入x的重构相对误差分
30、布(P = 10) Fig.8Distribution of the reconstruction relative errors for input x (P = 10) 图9输入y的重构相对误差分布(P = 10) Fig.9Distribution of the reconstruction relative errors for input y (P = 10) 表2P = 10情形下输入x、y的重构结果 Table 2Reconstruction results for inputs x and y when P = 10 考查区域0.1, 0.9考查区域0.2, 0.8 重构 相对
31、误满量程相对误满量程 对象 差(%)误差(%)差(%)误差(%) x1.0170.2120.4640.128 y1.1460.2240.6260.176 874自动化学报34卷 以上实验结果显示,在不同的非线性情形下(P = 2, P = 10), LS-SVM均显现出高重构精度,同时 也表明LS-SVM对非线性不甚敏感,在信号重构中 具有较高的稳定性.观察图6图9发现,被测量 x、y的重构误差均在边缘区域稍大,在中间区域则 小得多,表1和表2列出的考察区域为0.2, 0.8的 具体实验数据也体现了这种情况.因此,如果在实际 应用过程中将被测量的测量范围限制在比标定区域 稍小的区域,可获得更高
32、的重构精度. 本文最后将LS-SVM与SVM和B样条整体 最小二乘(B-spline TLS)进行了比较,表3给出了 三种方法对y重构的结果.根据前面的内容可知,对 y重构属于散乱数据处理.高维B样条通过张量积 构造,这种构造特点使得B-spline TLS适合处理规 则网格分布数据,而LS-SVM和SVM在处理高维 散乱数据方面的能力很强.因此,理论和表3给出 的实际结果表明, LS-SVM和SVM对y重构的效 果均优于B-spline TLS. LS-SVM与SVM最显著 的区别在于代价函数不同, LS-SVM在SVM基础 上将-不敏感损失函数替换为误差平方和代价函数, 使得对偶空间中二次
33、规划问题的不等式约束转化为 等式约束,将优化问题的求解转化为一般线性方程 组的求解,通过简单的迭代即可完成,而不需要通过 繁琐的优化方法解决,具有更高的计算效率.从表3 给出的重构结果来看, LS-SVM和SVM重构效果 基本相当.当然,由于SVM中-不敏感损失函数的 也充当了一个可调整参数(其值可以取得很小甚 至为0),且有较多二次规划优化方法可供选择,可以 预见,如果能够选取到合适的值和二次规划优化 方法, SVM的重构效果会更好一些.但是,寻找合 适的和二次规划优化方法过程本身就是一个优化 问题,并且还需要同时优化调整参数,因此, SVM方 法需要较长的运算时间才能得到理想结果.由于上
34、述原因,从计算效率上考虑,在回归分析中LS-SVM 比SVM更具优势.另外,根据文献10可知,通过 简单的稀疏性调整, LS-SVM也能够具有SVM的 稀疏性特点(本文中标定数据相对较少,没有作稀 疏性调整);同时,由于误差平方和代价函数的引入, LS-SVM比SVM具有更好的抑制噪声能力. 文献7将SVM用于非线性多功能传感器信 号重构,标定样本数据取为9 9形式.该文只讨 论了非线性较小(P = 2)情形,给出的重构相对误 差为0.40%,而对非线性较大(P = 10)情形没有 研究.本文实际运算表明,在标定样本数据为9 9 形式情况下,当P = 2时, LS-SVM方法对传感器 输入信号
35、的重构精度为0.39%,与文献结果一致;当 P = 10时, LS-SVM和SVM方法的重构精度均低 于6%,效果难以令人满意.因此,为获得较为理想 的重构精度,本文将标定样本数据取得稍多一些,为 17 17形式. 表3输入y的重构结果比较 Table 3Comparison of the reconstruction results for input y 考查区域0.1, 0.9考查区域0.2, 0.8 相对误满量程相对误满量程非线性重构方法 差(%)误差(%)差(%)误差(%) 三次B样条0.5940.2800.1420.061 SVM0.1420.0190.0580.013P =2 L
36、S-SVM0.1540.0250.0740.020 三次B样条2.4840.5531.2020.306 SVM1.1940.1570.3620.081P =10 LS-SVM1.1460.2240.6260.176 4结论 非线性多功能传感器标定实验数据相对于系统 输入输出空间是小样本集合,针对基于经验风险最 小化准则的方法在小样本情形下泛化能力较差的实 际情况,本文提出了利用基于结构风险最小化准则 的LS-SVM方法来实现非线性多功能传感器信号 重构.研究中通过L-折交叉验证实现调整参数优化, 在两种非线性情况下对多功能传感器的输入信号进 行了重构.理论分析和实验表明, LS-SVM中构建
37、的回归函数对非线性多功能传感器传递函数的反函 数具有很好的逼近性能,在不同非线性情形下,均能 够以高精度和高稳定性实现被测量的重构,呈现出 较好的泛化性能.另外, LS-SVM对被测信号的重构 计算量小、 速度快,便于实时检测应用. LS-SVM中调整参数的快速优化一直是研究的 难点问题, SVM也同样存在这个问题.虽然交叉验 证应用普遍,效果较好,但运算时间较长.因此,关 于调整参数的优化问题还需进一步研究. References 1 Sun J W, Shida K. Multilayer sensing and aggregation ap- proach to environmenta
38、l perception with one multifunc- tional sensor. IEEE Sensors Journal, 2002, 2(2): 6272 2 Eftimov T A, Bock W J. A simple multifunctional fi ber op- tic level/moisture/vapor sensor using large-core quartz poly- mer fi ber pairs. IEEE Transactions on Instrumentation and Measurement, 2006, 55(6): 20802
39、087 3 Wei G, Shida K. Estimation of concentrations of ternary solution with NaCl and sucrose based on multifunctional sensing technique. IEEE Transactions on Instrumentation and Measurement, 2006, 55(2): 675681 4 Flammini A, Marioli D, Taroni A. Application of an opti- mal look-up table to sensor data processing. IEEE Tra
