1、+岙)槼岙)*岟)+岟)+岣)+岪)挎尀岿)+退峇)+峉)+峐)+峓)琀峔)+峕)+峝)+峠)赜+萀峢)鯇谀峩)+峮)+瀀島)峻)*崅)+崉)搀崑)+頀崙)崠)+崨)堀崬)+崯)娛栀崺)+嵉)嵑)+嵥)+萀嵸)嶎)鰳+嶑)+嶒)+耀嶚)+嶟)+蠀嶡)嶢)+堀巂)$巌)+巎)$巕)+砀州)+巟)巡)巣)搀已)+搀已)+搀已)+氀巹)+市)+帋)+帠)+瀀帢)帧)*帨)疃+退帾)+幇)吀幺)耀幻)+幽)+庀)沽(店)纳堀庣)+庨)+瀀庸)*砀庿)+廀)+廄)+廊)+退廔)+异)+耀弑)+弓)+弚)琡弭)彅)+彅)+彌)+鰀彏)+彔)彔)+吀彛)+彞)+尀形)+彮)+氀彰)$彵)+倀彽)+簀彾)簀彾
2、)婚+往)徃)+徊)+徊)&徑)徛)遬*蠀微)嫸+頀徼)+怀忖)*忢)*忧)忪)忰)$忰)$忺)+忻)$忽)深忾)怅)+怖)*怖)+怜)+怀怡)&性)笭怫)+怱)*怱)怴) 恵)恶)恶)屺恹)瀀恺)+恽)+悄)+悑)桄+氀悜)$惘)$惟)&惦)+愇)曌蠀愥)+愪)+萀慇)*慤)+慸)+慼)*憅)憅)憏)憐)+憓)憝)+鐀憠)箃砀憭)籼+憯)+憵)憹)+憼)*懢)瀀懱)戎)+手)+搀扗)喺扠)+簀扬)+扱)鐀抁)抏)+抖)萋*択)拆)煯拉)+拉)栀拋)*拎)+拔)挃)*挶)+捁)+倀捌)+捎)+谀捛损)+捪)捱)+捻)*掁)*掌)掚)+谀掦)+鰀掴)+掹)+尀揇)+揍)+揑)(揚)+換)握)+倀
3、揢)娩+簀揣)嶋簀揣)+揲)揳)揣!揹)鰀揿)*鰀揿)襂搃)+耀搌)搟)搩)搪)+搪)+搬)+谀搼)+鰀摊)+堀摿)弜谀撇)赜+栀撍)+撓)+撝)撮)撿)+擆) 擌)+擗)粋+栀擘)+鐀擙)鐀擙)據)+瀀擟)+擡)擢) 砀擦)+擯)+攍) 攓)+瀀攪)瀀攪)+瀀攪)+砀攱)+收)+攼)+攽)畼蠀政)*鰀敶)赺敿)嫊斝)+斴)+旃)旆)尀旔)齀+尀旔)+昔)+尀星)+昡)t昡)昢)姶+退昧)是)+昳)萀時)+瀀晖)(晛)晰)鄽晽)牯鰀暢)暭)+尀暵)蠀暶)曁)+曏)緰!堀曗)+曡)頢(栀曥)+鐀曦)*曱)+曼)氀朎)鄽朡)+堀朢)*杀)+杆)+材)+村)搀杒)椠+杕)杨)+杬)杯)杷)+枑)+枢
4、)*枭)枽)俆栀柆)擊*柠)+柠)柱)+柷)柹)+栉)+鰀栙)栞)栨)+株)+株)桔)桩)辇(耀桱)*氀梅)+梇)*梪)+梴)*棅)+氀棐)+琀棗)+簀棞)+簀棞)+棧)+谀棬)+棼)棼)椁)椃)+吀椆)+椌)+椓)+椗)椙)+椝)+椮)+堀椯)+椼)+楉)馮+楉)挩楡)楡)+楡)+楥)+氀楦)楩)+楬)+楮)楲)!楸)+楽)+槃)炒槏)+瀀槚)+鰀槛)埫*槝)*槳)槻)饋+槿)+標)樤)*耀樳) 頀橈 ，m ），对每一个（n ，m ）都存储相应的距离，这个距离是当前格点的匹配距离与前一个累计距离最小的格点（按照设定的斜率在三个格点中进行比较）搜索到（1 ，1）时，只保留一条最佳路径如果有必要
5、的话，通过逐点向前寻找就可以求得整条路径DTW算法可以直接按上面描述来实现，即分配两个NM的矩阵，分别为积累距离矩阵D和时刻匹配距离矩阵d，其中时刻匹配距离矩阵d（i，j）的值为测试股票的第i时刻与参考股票的第j时刻间的距离D（N，M）即为最佳匹配路径所对应的匹配距离24范例例如我们选取两支股票，一支是中成股份（000151）作为参考股份x，另一支是翼凯股份（002691）作为测试股份y，为了计算方便我们只取五天的数据第一步：提取数据X=（10.53，11.58，12.74，13.77，13.19）Y=（27.99，29.4，32.3，32.8，32.4）第二步：标准化经过Zi=xi-min(
6、x)maxx-min(x)后，X=( 0，0.324，0.682，1，0.820)Y=( 0，0.293，0.896，1，0.917)第三步：构建距离矩阵并寻找最优路径在这里我们让d(xi,yj)=|x-y|0.8200.5270.0760.1800.09710.7070.10400.0830.6820.3890.2140.3180.2350.3240.0310.5720.6760.59300.2930.89610.917最终我们得到一个最优累积距离Dwarp（）=0.046三、 DTW在K线图相似度计算机的实际应用【2】在中国A股总共有3470支甚至还有中小企业板，乃至创业板的股票，再涉及到
7、各自的历史数据，这是一个非常庞大的数据库若要在这个数据可当中找寻于某一支股票相似的其他股票，将是一个计算量非常大的工作显然不可能人工手算，而是要借助计算机的索引技术但是如此庞大的数据对索引技术的准确性和高效性有着非常大的挑战 3.1索引技术索引技术是一种快速的文件访问技术，举个例子，好比我们查字典，会根据偏旁部首在索引表中找到这个字在第几页一样，索引技术就是根据事先记录好的能够代表属性的取值将它与物理地址关联，进而在数据库中搜索之前我们着重提到过一个命题Dwarp（）不符合三角不等式这个事实对于我们可以用于索引的方法有着重要的意义：任何隐含或明确地符合三角不等式的索引技术都不能避免产生错误的排
8、除 这是一个非常严格的要求：所有的空间访问方法，以及所有使用距离、度量、有利位置树的方法都不能避免错误的排除 唯一保证不会被错误排除的方法是顺序扫描，对于像股票这种大量长序列集合来说这将是计算量巨大的为了解决这个问题，人们提出了一种方法，用来避免一小部分的错误排除的同时能够实现的索引的加速 也就是说，人们的目标是提供快速的索引技术，同时尽可能地避免错误的排除 在这里人们引用了两种方法3.2基于FastMap的访问方法我引用的第一种技术是基于一种名为FastMap的方法【4】它的工作原理如下： 给定N个对象和一个距离函数，它将对象映射到k维空间中的N个点，以便保持原始距离，参数k可以由用户给出，
9、或者人们可以在应用中调整以获得更好的系统性能关键在于是假设对象确实能够表示成n维空间中的点，并且能够仅使用距离函数将这些点投影到相互正交k维空间中（kn），从而实现降维的目的如一个三维向量（x,y,z）可以经过函数映射到二维空间（x，y）换用我们如今正在研究的股票来讲，就是我们要将我们包含30天收盘价格的向量，通过一个距离函数映射到一个二维空间从而减少数据的处理在将对象映射到k个点之后，人们可以使用任何空间访问方法来组织它们并搜索范围查询 FastMap在对象的数目N（即序列）上是线性的而且，将查询序列映射到第k个点需要O（k）时间，也就是说，相对于数据库大小N，时间是恒定的与其他方法一样（参
10、见命题1），如果不遵守三角不等式，FastMap可能会引入错误的排除我们观察到，如果我们使用原始距离的平方根即欧几里得距离（很明显它符合三角不等式），我们可以避免更多的错误排除因此，我们在选择一个距离函数时候使用的就是欧几里得距离算法图来自：【2】算法1描述了如何使用FastMap处理范围查询如果将FastMap应用于平方根距离，则搜索范围也应该平方根注意F（s）表示序列的坐标在过滤步骤中，根据欧几里得距离而不是时间弯曲距离来比较两个序列，这是由于欧几里得计算的简单性和快捷性，这相当于一步粗筛选在这一步中不相关的序列被排除在外一些不符合条件的序列可能包含在内，但在后处理步骤中将删除这些序列由于
11、两个原因，算法1比单纯的DTW方法更快首先，它扫描较少的序列其次，过滤步骤也更快，因为k比序列长度小得多（通常是一些固定常数，比如6）过滤可能会删除一些合格的序列，导致错误排除，因为我们不能保证在k -d空间中的欧几里得距离越低越好即使我们使用时间弯曲距离的平方根，情况也是如此，但在实践中错误排除的可能性非常低，我们将在后面看到3.3下边界技术对于两个给定的序列x= 和y= ，让max（x）和max（y）表示x和y中的最大值 min（x）和min（y）的定义相似，但是最小值一对定义了序列x可以控制的范围不失一般性，我们假设max（x）max（y）所提出的方法受以下观察的启发：观察1 max（x
12、）-max（y）Dwarp（x; y）检查其有效性相当简单由于max（x）应该至少匹配y的一个元素，比如yi，并且我们假设max（x）max（y），max（x）-max（y） max（x）-yi Dwarp（x; y）：这个观察的结果是最大值的绝对差值可以作为一个距离来限制时间弯曲距离虽然这是真的，但是，它可能不是很有用，因为它可能低于时间弯曲距离太多因此，我们的目标是找到一个更紧密的下界我们考虑两个序列的范围的可能排列进行比较观察2给定两个范围，Rx = 和Ry = （范围的可能排列（见下图）图来自：【2】我们有三种可能的排列1.overlap :Rx和Ry重叠 （min（x）max（y）;
13、 min（x）min（y）2.encloses :Rx包含Ry (min（x） max（y）图来自：【2】值得注意的是，当通过扫描一次将序列输入到数据库中时，可以计算序列的最小值和最大值，并且可以将序列存储以供将来使用而且，通过简单的比较，可以在恒定的时间内确定两个序列的范围的排列最后，Dlb的定义只需要对每个序列进行一次扫描，因此我们可以计算序列长度中线性时间内两个序列之间的Dlb距离这会令速效率有很大的改善，除非Dlb太低估Dwarp定理1对于任何两个序列x = 和y= ，Dlb（x， y）Dwarp（x， y）证明：见附录A.作为定理1的直接结果，我们得到以下推论推论1（没有误诊率）对于
14、任何两个序列x = 和y= ，如果Dwarp（x; y），则Dlb（x; y）实际距离D2与下边界距离dlb是一种限制条件，可以保证范围查询和最近相邻查询不会被错误排除8在过滤步骤中，快速滤除不相关序列，因为可以快速计算Dlb距离（维度k上的线性时间，通常为k 10）一些不合格的序列可能包含在这个步骤的结果中，因为Dlb小于我们的动态时间弯曲距离Dwarp但是，这些不合格序列在后处理步骤中被删除具体算法如下：算法2图来自：【2】3.3结合两种技术【5】假设有一个股票数据库包含许多任意长度的时间序列并且我们想要找出与某个查询序列相似的所有序列，即时间弯曲距离单位内的所有序列 这种类型的查询是有效
15、范围查询处理这种查询的直接方式是扫描所有序列并为每个扫描序列计算Dwarp（），以选择符合条件的那些序列虽然非常简单，但速度可能很慢，因为它读取数据库中的每一个序列（因此速度很慢），并且它计算每个股票数据库序列的时间弯曲距离这个问题的独特之处在于，不仅I / O成本（第一种情况）很高，而且还有计算成本（第二种情况） 因此，我们所需要的技术应该解决这两个问题为了解决这些问题，人们采用了之前提到的两种技术1.使用FastMap构建索引结构以加快查询处理速度 这种技术可能会导致一些错误的排除 2.使用低于时间弯曲距离的下边界距离函数 这种方法保证不会有错误的排除 3.使用这两种技术的组合 由于这两种
16、技术彼此独立，因此可以采用流水线方式进行组合仔细考虑前面两部分提出的两种技术可以带来更高效的算法 在算法1中，我们仅使用时间弯曲距离筛选过滤的序列 但是，我们可以在计算时乵用世併用倖偵用倖兵用刖創用刖卵用吖呵用吖啵用嘖噵用嘖坵用堖塵用堖奵用娖婵用娖孵用尖嵵用尖屵用帖幵用帖彵用怖恵用怖慵用或扵用或捵用搖摵用搖敵用昖晵用昖杵用栖桵用栖極用樖橵用樖歵用氖汵用氖浵用渖湵用渖潵用瀖灵用瀖煵用爖牵用爖獵用琖瑵用琖畵用瘖癵用瘖睵用砖硵用砖祵用稖穵用稖筵用簖籵用簖絵用縖繵用縖罵用耖聵用耖腵用舖艵用舖荵用萖葵用萖蕵用蘖虵用蘖蝵用蠖衵用蠖襵用訖詵用訖譵用谖豵用谖赵用踖蹵用踖轵用逖遵用逖酵用鈖鉵用鈖鍵用鐖鑵用鐖镵用
17、阖陵用阖靵用頖页用頖饵用騖驵用騖魵用鰖鱵用鰖鵵用鸖鹵用鸖齵用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用用u甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩世乵甩世併甩倖偵甩倖兵甩刖創甩刖卵甩吖呵甩吖啵甩嘖噵甩嘖坵甩堖塵甩堖奵甩娖婵甩娖孵甩尖屵甩尖嵵甩帖幵甩帖彵甩怖恵甩怖慵甩或扵甩或捵甩搖摵甩搖敵甩昖晵甩昖杵甩栖桵甩栖極甩樖橵甩樖歵甩氖汵甩氖浵甩渖湵甩渖潵甩瀖灵甩瀖煵甩爖牵甩爖獵甩琖瑵甩琖畵甩瘖癵甩瘖睵甩砖硵甩砖祵甩稖穵甩稖筵甩簖籵甩簖絵甩縖繵甩縖罵甩耖聵甩耖腵甩舖艵甩舖荵甩萖葵甩萖蕵甩蘖虵甩蘖蝵甩蠖衵甩蠖襵甩訖詵甩訖譵甩谖豵甩谖赵甩踖蹵甩踖轵甩逖遵甩逖酵甩鈖鉵甩鈖鍵甩鐖鑵甩鐖镵甩阖陵甩阖靵甩頖页甩頖饵甩騖驵甩騖魵甩鰖鱵甩鰖鵵甩鸖鹵甩鸖齵甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩甩
