1、CNATURACIENCEMay,20232023年5月JOURNAINIVERSITYVol.59,No.3第59 卷第3期南京大学学报（自然科学）DOI:10.13232/ki.jnju.2023.03.003多样性诱导的潜在嵌入多视图聚类张绎凡12，李女婷1，2，葛洪伟专1，2*（1.江南大学人工智能与计算机学院，无锡，2 1412 2；2.江苏省模式识别与计算智能工程实验室（江南大学），无锡，2 1412 2）摘要：目前，多视图子空间聚类在模式识别和机器学习领域得到了广泛的研究.以前的多视图聚类算法大多将多视图数据划分在其原始特征空间中，其功效在很大程度上隐式地依赖于原始特征呈现的质量
2、.此外，不同视图包含同一对象的特定信息，如何利用这些视图恢复潜在的多样性信息对后续聚类尤其重要为了解决上述问题，提出一种多样性诱导的潜在嵌人多视图聚类方法，使用特定于视图的投影矩阵从多视图数据中恢复潜在嵌入空间.考虑到多视图数据不同视图之间的多样性信息，采用经验的希尔伯特施密特独立准则约束特定于视图的投影矩阵，将潜在嵌人学习、多样性学习、全局相似性学习和聚类指标学习整合在同一框架中，还设计了一种交替优化方案来有效处理优化问题.在几个真实的多视图数据集上的实验表明，提出的算法具有一定的优势。关键词：子空间聚类，多样性，潜在嵌人空间，希尔伯特施密特独立准则中图分类号：TP391.41文献标志码：A
3、Diversity-induced multi-view clustering in latent embedded spaceZhang Yifan2,Li Ting.2,Ge Hongweil.(1.School of Artificial Intelligence and Computer Science,Jiangnan University,Wuxi,214122,China;2.Jiangsu ProvincialEngineering Laboratory of Pattern Recognition and Computational Intelligence,Jiangnan
4、 University,Wuxi,214122,China)Abstract:Currently,multi-view subspace clustering is widely studied in fields of pattern recognition and machine learning.Previous multi-view clustering algorithms mostly partition the multi-view data in their original feature space,while theefficacy of which heavily an
5、d implicitly relies on the quality of the original feature presentation.In addition,different viewscontain specific information in a same object and how to use these views to recover latent diverse information is particularlyimportant for clustering.To solve the above problems,this paper proposes a
6、method named Diversity-induced Multi-viewClustering in Latent Embedded Space(DiMCLES),which uses projection matrix on specific view to recover latent embeddedspace from multi-view data.This paper uses an emprical Hibert Schmidt Independent Criterion to constrain the projectionmatrix on specific view
7、 which considers the diverse information of multi-view data between different views.Latent embeddedlearning,diversity learning,global similarity learning and clustering indicator learning are integrated into a unified framework,and an alternating optimaization scheme is introduced for optimization.E
8、xperiments on several real-world multi-view datasetsverifies the superiorityofour approach.Key words:subspace clustering,diversity,latent embedding space,Hilbert Schmidt Independence Criterion聚类是数据挖掘和模式识别领域中的一个重要分支，是一种无监督的机器学习算法，旨在将数据集分成由类似的数据对象组成的多个类：过去，传统的单视图聚类占主导地位，随着聚类技术基金项目：国家自然科学基金（6 18 0 6 0
9、0 6），江苏省研究生创新计划（KYLX16_0718）收稿日期：2 0 2 3-0 30 1*通讯联系人，E-mail：g h w 8 6 0 1 16 3.c o m389张绎凡等：多样性诱导的潜在人多视图聚类第3期的发展，单一视图提供的信息有限，传统单视图聚类的研究到了瓶颈阶段，因此对同一个数据的多角度描述应运而生.多视图是指从不同角度对同一事物进行描述的视图集合，例如，图像可以通过颜色、纹理、形状等不同特征进行描述，网页数据可以由图像、文本、超链接等进行描述，传感器信号有时域和频域上的分解1.这些都是多视图数据，它们虽然表现出异质性，但本质上具有潜在相关性和多样性多视图聚类旨在利用视图
10、之间互补的特性，分析相互之间的关系，构建完善的约束，最终提升聚类效果.多视图聚类大致可分为四种：(1)基于协同训练的多视图聚类，受协同训练的思想启发,Nigam and Ghani?将最大似然估计的思想与协同训练相结合.KumarandRai3强制不同的视图进行共同正则化，最小化不同视图之间的拉普拉斯矩阵对应的特征向量。（2)基于多核学习的多视图聚类方法，旨在探索多视图数据的非线性结构.Huang etal41提出一种同时执行多视图聚类任务并学习内核空间汇总相似性关系的模型.由于该模型没有考虑权重分配问题,Liuetal5根据每个视图的每个内部簇分配的权重提出一种用于多视图聚类的聚类加权核k均
11、值方法.（3)基于图学习的多视图聚类方法，目标是在所有视图中找到融合图.Zhanetal6提出一种根据每个视图的优化图获得全局图的多视图谱聚类.（4)基于子空间学习的多视图聚类方法.Wang etal7为了提高信息互补的实际效果，增强了不同视图对应的子空间之间的排他性.Zhang et al8)采取增强信息互补的另一种思路，设计自适应样本加权策略以及自适应低级多内核学习来加强子空间自表示，这些方法大都直接计算数据集中的原始特征，存在噪声与误差，不能很好地适应较多视图的数据.针对上述问题,Zhang et al提出潜在嵌入空间的概念，通过间接方法获取数据集中的特征，并利用该潜在嵌人表示进行聚类.
12、Huang et al101在Zhangetal8的研究基础上提出共享信息的优化，使潜在嵌人表示更准确.由于现有的二次规划求解较复杂,Chen et al1l将二次规划求解法改进为拉格朗日乘子法，进一步提升潜在嵌入多视图聚类算法的效率.MCLES(Multi-View Clusteringin Latent Embedding Space)12 在 Zhang et al 的基础上结合全局相似性学习以及聚类指标学习进行聚类，取得了较好的效果.但上述方法在潜在嵌人学习过程中仅仅注意了投影矩阵的相关约束，没有充分利用视图之间隐藏的多样性信息，缺少局部信息的约束项，导致潜在嵌人空间存在部分信息无法被
13、合理利用的问题.为了解决上述问题,提出一种多样性诱导的潜在嵌人多视图聚类算法，多样性指从不同视角学习的子空间表达式具有足够的独立性，能够有效地利用不同视图之间的互补信息.该方法将希尔伯特施密特独立准则（HilbertSchmidtIndepen-dence Criterion,HSIC)与 MCLES融合在一个框架中,利用HSIC平衡不同投影矩阵之间的多样性，提升潜在嵌入学习的结果；同时，对潜在嵌人空间进行全局相似性学习和聚类指标学习，得到一致性亲和矩阵对应的谱嵌入矩阵，并通过k-means得到最终的聚类结果.在六个公开数据集上进行的实验证明该算法具有一定优势。1相关理论1.1行符号与定义本文
14、中，粗体大写字母表示矩阵，粗体小写字母表示向量，小写字母表示标量.定义一个具有V个视图、N个样本数据的多视图数据集X=Xi,X,X)E R(2x.D),其中,Di表示第i个视图的维度.对于矩阵X,X,表示第i行,Xi,表示第i行第j列的元素.Tr(X),XT和X，分别表示矩阵X的秩、转置和Frobenius范数.1表示单位矩阵，1表示元素全为1的列向量。1.2潜在嵌入空间MCLES中的潜在嵌人空间方法为每个数据点推断一个共享的潜在表示RERdxN,其中,d为潜在嵌人空间的维度,假设所有不同的视图都起源于一个潜在的表示R.具体地，如图1所示，不同视图可以用它们各自的投影矩阵(Pl,P)进行重构,
15、其中,PERDxd,每个视图的样本数据表示为X=PR,i=1,2,.V,并具有共享的潜在表示R.潜在嵌人空间方法和子空间自表示方法相比是一种全新的理论方390第59 卷南京大学学报（自然科学）X2P2R图1潜在嵌入空间示意图Fig.1Latentembedding space法，能够较全面地恢复数据隐藏的空间结构，对最后的聚类效果有较好的提升。MCLES最终的目标函数式如下：minlX-PR,+R-RZI,+zI,+P,R,Z,FTr(FTLzF)s.t.|P.1,z.1=1,021,(1)X7PFTF=I,X=：,P.LXYLP其中,R-RZ+Z表表示全局相似性学习，用于增强学习得到的一致性
16、亲和矩阵的鲁棒性以及准确性；ZERNXN是一致性亲和矩阵；yTr(FTLzF)表示聚类指标学习；矩阵Z的拉普拉斯矩阵定义为Lz=D一（zT+Z)/2;度矩阵D是矩阵乙的对角矩阵，且其第i个对角元素为Z,(+)/2;F是谱嵌人矩阵，通过计算矩阵Z的c个最大特征值对应的c个特征向量得到谱嵌人矩阵F的解.最终的聚类结果可通过谱嵌入进行k-means(13得到.2多样性诱导的潜在嵌入多视图聚类2.1算法模型根据式（1）的目标函数可知，MCLES在数据样本矩阵和投影矩阵的学习过程中仅仅注意了潜在嵌人学习，缺少局部信息的约束项.多视图数据在不同视图之间具有差异，即多样性信息，所以MCLES忽略了不同视图之
17、间的多样性.为了解决这个问题,受Cao et al14的启发，采用经验的HSIC约束特定于视图的投影矩阵.HSIC具有以下特性：（1)通过将变量映射到一个再生希尔伯特空间来度量变量之间的依赖性，因此可以度量变量之间较复杂的关联，适用于非线性相关的情况；（2)在测量变量依赖性时，不需要估计变量的联合分布，具有计算优势；（3)经验的HSIC可以被证明等价于矩阵乘积的迹运算，使方法更易求解且具有良好的收敛性因此，引人HSIC可以更好地平衡不同视图矩阵之间的独立性和相关性。给定2:=(1,y1),.,(cym)/二xy,2为用于产生一系列n个联合分布Pz的独立观测数据.经验HSIC记作HSIC(Z,F
18、,9),可以被写成如下形式：HSIC(Z,F,g)=(n-1)-Tr(KHLH)(2)其中,K,LERx是Gram矩阵且有k,=k(ai,a),l=k(yi,y,),k(,a,)和k(yi,y,)分别是和y上的核函数.hj=；一1/n将Gram矩阵中心化，使数据在特征空间具有零均值。利用经验性HSIC约束可以更真实地反映不同视图之间的关系，提出多样性诱导的潜在嵌人多视图聚类模型（DiMCLES）.目标函数如下：minX-PR+HSIC(P,P)+P,R,Z.Fn丰m潜在嵌入学习多样性学习alR-RZI,+pz,+Tr(FTLzF)全局相似性学习聚类指标学习(3)s.t.|.l1,z.1=1,0
19、z1,XP17FTF=I,X=,P=XYPV2.2算法优化在得到目标函数后采用交替送代对目标函数求解，以下是求解的详细过程。固定R,Z,F，求解P,去除无关项，式（3)等价于优化以下问题：mjin|X-PR I,+HSIC(P,P)Pn牛m(4)s.t.P直接计算矩阵P较困难，为了有效地解决这个问题，将其划分为V个子问题：minIX-PR+入ZHHSIC(P,P)P九m(5)P在计算P时,矩阵P(nm)是固定的.为了方便，采用内积核作为HSIC的内核，即K=pmTpm,因此HSIC可以写成：5.矩阵F由Lz=DZT+Z)/2的前c个最小特4.通过式（15）优化Z的第i列通过式(11)优化R2.
20、通过式（8）优化P1.重复执行P，零初始化Z，随机初始化，使用PCA降维度初始化R初始化：对数据集X列归，通过式（12）12 初始化X1X聚类个数C.超参数，,入和d有V个视图的多视图数据集X=输入DiMCLES算法391张绎凡等：多样性诱导的潜在嵌人多视图聚类第3期HSIC(P,P)=2Tr(HKHK)=n=1,ntm(6)Tr(HPmT pHK)=Tr(PKPT)其中,K=HKH,式(5)转变为：n=1.nmmin X-PR+aTr(PKpmT)Pm(7)V1,K=儿HKHn=1,nm对式（7)求偏导并令其为零，得到矩阵针对每个视图的更新式：P=(2XRT)*(2RRT+(K+KT)(8)
21、固定P,Z,F,求解R，去除无关项，式（3)等价于优化以下问题：minll X-PR,+lR-RZR(9).|P.1,z.1=1,021s.t.使用交替向乘子法（AlternatingDirectionMethod of Multipliers，A D M M），引人辅助变量A1,A2代替R,得到相对应的增广拉格朗日函数为：L(A1,A2,Y)X-PAl,+A2-A,ZIA;-Ai+Y Is.t.A1=A2=R,Z.1=1,0Z1(10)对A,和A,求偏导并令其为零，得到A1,A2以及Y的更新式：A1=(2PTP+l)*(2PTX+A2+Y)A,=(Ai-Y)(2a(I-z)(I-z)+r)(
22、11)Y=Y+(A2-A.)固定P,R,F，求解Z,去除无关项，式（3)等价于优化以下问题：min llR-RZ l,+z,+Tr(FTLzF)(12)Zs.t.Z.1=1,0Z1,FTF=I为方便求解，引人变量M，令M=ZTZ,式（12）可以写成以下形式：min Tr(M-2MZ+ZTMZ)+ZTr(FTLzF)(13)s.t.Z.1=1,0Z1,FTF=I对式（13）按列展开得到：minMi.-2M.,Z.,+z.MZ.Z.Z.+Z.diz.(14)2s.t.z.1=1,0z1其中,d,ERx1是一个列向量,其第j个元素d,=Fi.一Fj.，则式（14）简化为：min z.(M+Z+26T
23、-2M.22.(15)Z.s.t.z.1=1,0z1式(15)是一个标准的二次规划问题,可用现成的二次规划包15 对其进行求解，固定P,R,Z,求解F，去除无关项，式（3)等价于优化以下问题：minTr(FTLzF),s.t.FTF=I(16)F通过计算矩阵Z的c个最大特征值对应的c个特征向量得到谱嵌入矩阵F的解，2.3算法流程和时间复杂度分析算法流程如下所示，征值对应的特征向量构成6.直到算法达到最大选代次数输出：谱嵌人矩阵F在更新P时，算法复杂度为O(ZY,D)Nd);在更新R时,ADMM算法的时间复杂度为 0(ZY,D);在更新Z时,二次规划的时间复杂度为O(N3);在更新F时,算法的时
24、间复杂度为O(cN).因此，对于每一次迭代，算法的时间复杂度为（(ZY,D)Nd+(Z,D)d+N+cv)392第59 卷南京大学学报（自然科学）3实验设置3.1楼数据集介绍在六个广泛使用的数据集上进行相关实验：3Soursesl,Notting-Hi1Yale12,MSRCv112,ORL12,BBCSport12.数据集的具体信息如表1所示。表1实验使用的数据集介绍TablelIntroduction of datasets used in experiments数据集3SourcesNotting-HillYaleMSRCv1ORLBBCSport类别数65157405样本数169550
25、165210400544视图数3334323Sourses：是多来源的新闻数据集，包含来自BBC、卫报和路透社的新闻，由来自六个类的16 9个新闻对象组成，实验中使用了三个视图，分别为BBC（视图1）、卫报（视图2）和路透社(视图3）.Notting-Hill：是从电影Notting-Hill中获得的视频人脸数据集，包含46 6 0 张人脸图像，每个演员为一个类别，选择五个主要演员的面孔，随机采样每个演员的110 张面部图像.实验中使用了三个视图，分别是强度特征（视图1）、LBP特征（视图2）和Gabor特征（视图3）.Yale：是广泛使用的人脸图像数据集，由15个不同主题的灰度图像组成，每个
26、主题由11张图像组成，共16 5张.图像的变化包括右光、中心光、左光、是否戴眼镜、是否快乐、正常、惊、眼和困倦.实验中使用了尺寸分别为40 9 6（视图1）、3304（视图2）和6 7 50（视图3）的三个视图.MSRCvl：是一个图像数据集，由属于七个类别的2 10 个对象组成，分别是飞机、建筑、树、汽车、牛、脸和自行车.实验中使用了四个视图，分别为CM特征（视图1）、GIST特征（视图2）、LBP特征（视图3)和GENT特征（视图4）.ORL：是广泛使用的人脸图像数据集，由属于40 个不同主题的40 0 张人脸图像组成，每个主题包含10 张图像.每个主题的图像都在不同的时间、光线、面部表情
27、（是否睁眼、是否微笑）和面部细节（是否戴眼镜）下拍摄.实验中使用了三个视图，分别为强度特征（视图1）、LBP特征（视图2）和Gabor特征（视图3）.BBCSport：是一个文档数据集，由2 0 0 4一2005年五个主题领域的BBCSport网站体育新闻的544个文档组成，分别是商业、体育、政治、娱乐、科技.实验中使用了两个视图，其维度分别为3183（视图1)和32 0 3（视图2）.3.2对比算法介绍将本文提出的方法与10 种多视图聚类方法进行比较：SC（Sp e c t r a l Cl u s t e r i n g）：对每个视图进行单视图谱聚类，取多个视图中最好的数据，记作SCbes
28、t.ConcatePCA-SC：是SC方法的扩展，使用PCA方法降维所有视图的特征.Co-Reg（Co-R e g u l a r i z e d Sp e c t r a l Cl u s t e r-ing)：强制所有视图执行共同正则化2 Co-Training(Co-Training Multi-View Clus-tering):将最大似然估计与协同训练相结合16 ,Min-Disagreement(Spectral Clustering withTwoViews）：是基于最小化分歧的多视图谱聚类（17 .RMSC(Robust Multi-View Spectral Cluster-
29、ing）：是使用马尔可夫链进行聚类的鲁棒多视图谱聚类17 LMSC(Latent Multi-View Subspace Cluster-ing）：根据多个视图的共同潜在结构发现子空间结构9 MVGL(Graph Learning for Multi-view Clus-tering）：根据每个视图的优化图获得全局图6 .MCLES：根据视图的潜在结构进行潜在嵌入学习、全局结构学习12 1.LSRMSC(Latent Shared Representation forMulti-View Subspace Clustering）:是恢复潜在共享表示的多视图聚类10 .3.3实实验结果与分析使用
30、精度（Accuracy，ACC）、标准化交互信息（Normalized Mutual In-formation，NM I）、纯度（Purity,PUR）、兰德指数(Rand Index，R I)作为聚类指标，指标的数值越高，表示聚类效果越好由于算法和最后的k-means算法框架存在随机性问题,因此实验进行20次，结果取2 0 次的平均值以及标准差.表2 7 给出了不同算法在六个公开数据集393第3期张绎凡等：多样性诱导的潜在嵌人多视图聚类表2不同算法在3Sources数据集上的聚类表现Table 2Clustering performance of different algo-rithms
31、on 3Sources方法ACCNMIPURRISCbest69.70%(2.10)60.80%(1.50)79.70%(0.70)84.90%(0.40)ConPCA66.30%(1.30)59.00%(2.20)72.50%(1.80)77.50%(0.50)Co-Reg55.10%(0.30)48.60%(0.20)67.70%(0.20)76.70%(0.10)Co-Training59.80%(0.50)55.30%(0.50)74.10%(0.50)80.70%(0.20)Min-Dis52.70%(0.70)48.30%(0.60)68.80%(0.50)76.40%(0.40)
32、RMSC54.20%(1.40)50.50%(1.20)68.70%(0.90)76.20%(0.60)LMSC71.00%(1.00)64.90%(1.50)80.00%(1.10)83.30%(0.70)MVGL34.90%(0.00)12.10%(0.00)41.40%(0.00)36.00%(0.00)MCLES66.00%(2.10)61.90%(2.00)77.00%(1.50)83.00%(1.20)LSRMSC70.20%(1.80)64.26%(1.90)71.31%(1.40)82.64%(1.30)DiMCLES77.21%(1.41)67.28%(2.24)78.42%
33、(1.41)83.43%(1.96)表4不同算法在Yale数据集上的聚类表现Table 4Clustering performance of different algo-rithms on Yale方法ACCNMIPURRISCbest63.18%(3.46)65.07%(2.56)63.67%(3.41)92.50%(0.43)ConPCA56.38%(3.71)60.88%(2.81)57.50%(3.48)92.48%(0.42)Co-Reg59.56%(0.55)63.62%(0.41)60.65%(0.48)93.10%(0.02)Co-Training62.23%(0.39)65
34、.61%(0.49)62.87%(0.51)93.45%(0.21)Min-Dis59.74%(0.66)63.03%(0.48)60.26%(0.70)92.82%(0.13)RMSC56.25%(4.26)52.42%(3.73)55.11%(3.55)93.03%(0.20)LMSC66.73%(1.76)68.69%(1.55)67.06%(1.69)93.57%(0.33)MVGL63.03%(0.00)63.81%(0.00)64.24%(0.00)92.44%(0.00)MCLES70.02%(1.18)71.74%(1.60)70.12%(1.35)93.54%(0.64)LS
35、RMSC69.55%(1.30)72.12%(1.50)69.64%(1.40)93.50%(0.50)DiMCLES71.00%(1.42)73.52%(1.37)71.36%(1.52)93.89%(0.53)表6不同算法在ORL数据集上的聚类表现Table 6Clustering performance of different algo-rithms onORL方法ACCNMIPURRISCbest77.35%(2.61)89.10%(1.02)80.25%(2.05)98.17%(0.12)ConPCA65.30%(2.51)80.29%(1.39)69.00%(2.33)97.77
36、%(0.11)Co-Reg69.21%(0.37)83.76%(0.17)72.94%(0.28)98.00%(0.00)Co-Training75.39%(0.58)88.13%(0.31)78.79%(0.50)98.42%(0.00)Min-Dis72.59%(0.62)86.17%(0.30)76.25%(0.51)98.18%(0.00)RMSC76.03%(2.59)72.00%(2.09)73.87%(1.69)98.39%(0.00)LMSC80.13%(3.33)89.66%(2.04)83.79%(2.93)98.81%(0.21)MVGL73.50%(0.00)86.51
37、%(0.00)79.50%(0.00)97.07%(0.00)MCLES79.73%(0.40)89.02%(1.20)84.02%(1.81)98.52%(0.18)LSRMSC82.31%(2.20)89.88%(0.70)84.00%(2.30)98.56%(0.10)DiMCLES77.50%(1.51)89.91%(0.52)81.70%(1.00)98.58%(0.16)表3不同算法在Notting-Hill数据集上的聚类表现Table 3(Clustering performance of different algo-rithms on Notting-Hill方法ACCNMI
38、PURRISCbest80.00%(0.00)61.60%(0.00)80.00%(0.00)87.10%(0.00)ConPCA74.90%(0.30)64.00%(0.60)77.20%(0.20)86.50%(0.10)Co-Reg78.80%(0.40)72.80%(0.22)67.68%(0.21)76.67%(0.09)Co-Training81.30%(0.50)76.40%(0.80)84.30%(0.30)91.30%(0.20)Min-Dis79.80%(0.60)72.10%(0.40)82.50%(0.40)90.10%(0.20)RMSC75.70%(6.00)72.
39、70%(3.10)82.20%(3.10)88.40%(2.20)LMSC81.00%(5.80)68.60%(6.50)81.00%(5.80)86.20%(4.30)MVGL90.50%(0.00)81.20%(0.00)90.50%(0.00)93.30%(0.00)MCLES83.40%(3.30)79.70%(2.20)85.80%(2.40)92.30%(1.00)LSRMSC86.55%(2.20)82.23%(1.50)86.55%(2.20)93.95%(0.80)DiMCLES93.45%(0.00)88.27%(0.00)93.45%(0.00)95.62%(0.00)表
40、5不同算法在MSRCv1数据集上的聚类表现Table5Clustering performance of different algo-rithms on MSRCv1方法ACCNMIPURRISCbest69.45%(1.86)53.55%(1.51)69.45%(1.86)87.20%(0.21)ConPCA61.53%(0.30)50.61%(0.91)64.72%(0.82)85.30%(0.22)Co-Reg62.33%(0.57)51.04%(0.36)64.48%(0.48)85.13%(0.11)Co-Training69.81%(0.99)61.65%(0.64)71.79%
41、(0.71)91.15%(0.24)Min-Dis59.23%(0.71)51.74%(0.46)60.75%(0.67)85.18%(0.18)RMSC29.98%(1.89)28.19%(1.38)28.26%(1.63)79.39%(0.19)LMSC67.43%(5.91)57.76%(6.06)69.00%(6.24)86.42%(2.43)MVGL67.14%(0.00)57.75%(0.00)70.48%(0.00)86.27%(0.00)MCLES87.44%(0.40)79.23%(0.89)87.59%(0.40)93.74%(0.24)LSRMSC80.98%(0.10)
42、72.11%(0.20)80.98%(0.10)91.57%(0.00)DiMCLES89.52%(0.00)82.42%(0.00)89.52%(0.00)94.71%(0.00)上的聚类实验结果，表中黑体字表示结果最优，括号中的数字为方差，表7 中的NA表示该算法不适合该数据集对应的聚类指标。大多数情况下，DiMCLES优于相关算法或具有一定竞争力，尤其是在3Sources和Notting-Hill上和MCLES相比，在3Sources上，Di-MCLES的ACC提升11.2 1%,NMI提升5.37%，PUR提升1.42%,RI提升0.43%;在Notting-Hill上，ACC提升9.
43、9 5%,NMI提升8.57%,PUR提升7.6 5%，RI提升3.32%.同时，DiMCLES在Notting-Hill，M SR C v 1和BBCSport上的方差为0，稳定性很好，在其余数据集上的稳定性也不差.但在ORL上的表现较差，可能是因为ORL各个视图之间的差异性较大，算法无法很好地将较394第59 卷南京大学学报（自然科学）表7不同算法在BBCSport数据集上的聚类表现Table 7(Clustering performance of different algo-rithmsonBBCSport方法ACCNMIPURRISCbest84.53%(0.12)67.17%(0.
44、18)84.53%(0.12)88.81%(0.00)ConPCANANANANACo-Reg69.28%(0.70)53.75%(0.21)73.48%(0.33)85.13%(0.09)Co-Training69.79%(0.39)56.57%(0.17)76.01%(0.20)91.16%(0.14)Min-Dis85.07%(0.87)78.43%(0.55)87.15%(0.46)92.64%(0.28)RMSC77.37%(0.98)76.45%(1.17)75.97%(1.06)92.38%(0.79)LMSC85.12%(12.03)74.48%(13.56)85.60%(10
45、.53)94.75%(0.12)MVGL41.91%(0.00)8.80%(0.00)42.28%(0.00)33.34%(0.00)MCLES87.28%(0.32)80.01%(1.14)87.28%(0.32)93.89%(0.43)LSRMSC88.54%(0.00)83.12%(0.00)88.54%(0.00)94.75%(0.00)DiMCLES88.60%(0.00)85.68%(0.00)88.60%(0.00)94.96%(0.00)大的差异性整合到一致性亲和矩阵中。在多数真实数据集上的实验结果证明Di-MCLES 算法优于 RMSC,LMSC，M C LES,MVGL等多
46、视图子空间聚类方法，这是因为DiMCLES能够较好地提取多视图数据不同视图之间的多样性潜在信息。3.4收敛性分析斤为验证DiMCLES的收敛性，图2 展示了DiMCLES,MCLES和LMSC（La t e n tMulti-View Subspace Clustering）9 在六个基准数据集上的目标函数图像，由于LMSC采用零初始化,因此目标函数有一段先上升的过程.由图可见,DiMCLES在BBCSport和3Sources上前10 次迭代急剧下降，在15次迭代时基本趋于稳定；在其余数据集上均为前5次迭代急剧下降再趋于平稳.和LMSC相比,DiMCLES有较好的收敛性和稳定性，与MCLES
47、的收敛性总体相似，在Not-ting-Hill和BBCSport上略有提升证明Di-MCLES的收敛速度较快,基本能在10 次之内达到收敛，且收敛性较好。3.5参数分析DiMCLES算法共有五个参数，在六个基准数据集上分析五个参数对DiMCLES算法精度的影响，实验结果如图3所示由图可知，参数在0.5,1 时,算法的稳定性较好参数在0.0 4,0.0 8 时，算法在除了Notting-Hill以外的其他数据集上均有较好的稳定性，这是由于目标函数在Notting-Hill上对非平凡解具有一定敏感性，造成该区间内的ACC存在2 0%左右的上下波动.参数在0.0 0 1,0.0 0 5 时，参数入在
48、0.2,0.35 时，算法的稳定性较好.参数d在40,100时，算法性能趋于平稳，但在40 以下波动较大，这是因为潜在嵌入空间维度过小时，算法无法稳定地描述原始空间的特征，导致ACC出现较大的波动.3.6t-SNE可视化分析为了更直观地观察DiMCLES的聚类性能,采用t-SNE（t-D is t r ib u t-9006001800800(a)在3Sources上的收敛曲线(b)在Yale上的收敛曲线1600(c)在ORL上的收敛曲线50070014006004001200500-oDiMCLES-0DiMCLES1000300-ODiMCLES400+LMSC+LMSC800+LMSC+
49、-MCLES+MCLES+-MCLES300200600200400100100200005101520253035 400510152025303540510152025303540Iteration stepIterationstepIteration step180050018001600(d)在Notting-Hill上的收敛曲线(e)在MSRCv1上的收敛曲线1600(f)在BBCSport上的收敛曲线1400400140012001200300100010000DIMCLES-0DIMCLES800800+LMSC200+LMSC600-MCLES+MCLES600-0-DiMCL
50、ES400400100+-LMSC200200一MCLES018868888888888888888888830+51015202530354005101520253035405101520253540IterationstepIterationstepIterationstep图2DiMCLES，LM SC和MCLES在六个基准数据集上的收敛曲线Fig.2Convergence curves of DiMCLES,LMSC and MCLES on six benchmark datasets395张绎凡等：多样性诱导的潜在人多视图聚类第3期ed Stochastic Neighbor Em
