1、第八章 多媒体系统数据模型 n多媒体系统数据模型概述n超文本系统形式化模型n信息元模型n表现与同时模型第1页8.1 多媒体系统数据模型概述n数据模型数据模型就是在计算机数据世界中建立计算机能接收对现实世界中所要研究对象抽象描述。n多媒体系统数据模型主要任务：n表示各种不一样媒体数据结构及其属性特征;n指出不一样媒体数据之间相互关系。n多媒体数据时空关系建模是多媒体系统研究主要特色，这种时空关系主要由多媒体系统表现模型刻划。第2页多媒体系统表现模型n多媒体表现是多媒体数据合成再现。n多媒体合成主要包含空间和时间合成。n空间合成是同一表现空间域中共存一系列媒体对象之间空间特征、位置关系描述。n时间
2、合成是在某一时间域内并发(包含次序和并行)表现一系列媒体对象之间时序关系描述。n多媒体同时是指采取进程来协调时序关系机制,亦即实现时间合成方法描述。第3页多媒体系统数据模型层次结构 应用层信息元层数据元层脚本同时合成同时系统同时内容表现第4页n表现模型从“表现”入手,依据多媒体表现强烈时空特征,往往以时间为线索来组织安排多媒体活动。n同时指对多个对象间时间关系协调控制,同时模型是以时间为线索来组织多媒体表现。n同时也是有层次,普通分为用户级同时、复合对象内部同时及系统同时。第5页8.2 超文本系统形式化模型 n形式化描述形式化描述就是用数学概念或类数学概念来准确定义和描述信息系统基本特征一个方
3、法。n优点优点：准确定义和描述;便于模型性质分析;有利于研究新模型;指导系统实现。n形式化语言或工具形式化语言或工具:如Petri网、时序逻辑语言。和Z语言。n形式化语言既是正规性语言又是描述性语言,在软件系统建模、概念设计中起着主要作用。第6页集合论和一阶逻辑 n定义定义1 序偶,这里S是一个集合,R是从S到S一个关系。假如满足以下条件称它为偏序集：(1)R是不对称；(2)R是自反；(3)R是传递。n定义定义2 集合S一个对象x是偏序R最小元素，假如：sS(R(s,x)=(s=x)第7页n定定义义3 偏序集中,集合S元素X覆盖S元素Y(X)可记为covers(X,Y,),满足：R(Y,X)Z
4、S(R(Y,Z)R(Z,X)=(Z=X)(Z=Y)n定义定义4 偏序集中,S中对象高度是一个从S到自然数集合函数,其定义为:(1)假如X是最小元素,则height(X)=1;(2)假如covers(X,Y,),则height(X)=height(Y)+1 第8页n定义定义5 一个超文本是这么一个集合,它包含:(1)域对象集D0和信息对象集I0;且有 D0I0=,D0I0=O 其中为空集,O是对象集。(2)谓词集合;(3)属性(性质)集合A。对超文本,D0表示域对象集,I0表示信息对象集,A表示中属性集,表示中谓词集合。第9页n定义定义6 谓词集合,由以下3个子集组成:(1)1:一元谓词,表示对
5、象特征。SET(X)(2)2:二元谓词,表示对象关系。P(X1,X2)(3)3:三元谓词,表示对象某种属性取值。ATR(X,Y,Z)n定义定义7 D0是一个表示域对象独有符号集合,I0是表示信息对象符号集合,集合O=D0I0被称为对象集合。n信息对象(I0)与域对象(D0)关系能够经过函数INSTANCEOF和INSTANCES来建立。INSTANCEOF(X)=Y表示X是一个信息对象,它是域对象Y一个实例。INSTANCES(X)=X1,X2,则等价于INSTANCEOF(X1)=X,INSTANCEOF(X2)=X,。第10页n定义定义8 超文本是一个强定义超文本,当且仅当 X(XI0)=
6、(Y(INSTANCEOF(X)=Y)全部信息对象都经过它们域对象定义。n信息结点信息内容由对象INFO属性表示。INFO是一个二元组Position,Value,其中Position指明在信息对象中Value位置。第11页n定义定义9 序列对象Oq是有限个对象集合,且有:(1)谓词SEQUENCE X(SEQUENCE(X)(XOq);(2)函数LENGTH LENGTH(X)=X中所含对象个数;(3)函数LIST LIST(X)=X中对象一个有序排列,用X1,X2,表示;(4)谓词in 当对象X是序列Y一个元素时,in(X,Y)或(X in Y)为真;假如X不是Y一个元素,即X不在Y中,则
7、in(X,Y)为假。第12页n定义定义10 聚集对象Oaggregate是一个序列对象,且须满足下述公理:(1)聚集对象含有唯一成份。X,YAGGREGATE(X)AGGREGATE(Y)(LIST(X)=LIST(Y)=(X=Y)(2)若一聚集对象是域对象,该对象全部成份必是域对象。X(AGGREGATE(X)(XD0)=Y(Y in LIST(X)=(YD0)(3)聚集对象实例由其成份对象实例组成。X,Y(AGGREGATE(X)(XINSTANCES(Y)=(AGGREGATE(Y)(YD0)Z(Z in LIST(X)=(Z in LIST(Y)T(T in LIST(Y)ZINSTA
8、NCES(T)第13页n定定 义义 11 归 纳 定 义 为 对 象 集 合 O中 一 个 关 系.若GENERALIZATION(X,Y),则称X是Y归纳。归纳满足下述公理：(1)关系GENERALIZATION是不对称,非自反和传递。(2)假如X是一信息对象,它是域对象Y实例,则Y是X归纳。(INSTANCEOF(X)=Y)=GENERALIZATION(Y,X)(3)假如X是Y归纳,而且Y是一个域对象,则X必是域对象。X,Y(GENERALIZATION(X,Y)YD0)=(XD0)(4)假如Y是X归纳,而且X是一个信息对象,Y是一个域对象,则X在Y实例集中。X,YGENERALIZAT
9、ION(Y,X)(XI0)(YD0)=(XINSTANCES(Y)第14页n引理引理1 假如X是Y归纳而且Ym在Y实例集中，则Ym在X实例集中。n引理引理2 定义关系 GENERAL(X,Y)=(X=Y)GENERALIZATION(Y,X)序偶是一个偏序集。n定义定义12 一个对象XO归纳级定义为在偏序集中对象高度。第15页8.3 信息元模型 n信息元模型考虑是信息元结构模型,目标是提供一个标准,使“信息元”公共化、通用化,成为上层各类多媒体应用(或模型)都可“调用”东西,这将会大大方便多媒体数据与信息之间交互和通信 第16页n多媒体信息元是含有一定语义组成信息系统应用信息子块 n多媒体信息
10、元是一个或多个媒体数据元经过一定添加与包装而合成超数据元 第17页n多媒体信息元3个基本特征：(1)数据元本身组织附加其表现属性基本对象内容与表现/单媒体对象表现。(2)多个数据元时空同时关系描述复合对象同时/多媒体同时。(3)成份之间链接描述基本链接功效。n信息元大小信息元大小就是上述3项内容之和。n信息元合成信息元合成主要指多个数据元之间时空合成,亦即时空关系描述。第18页 n面向对象一些特点,如封装、继承、聚合等,恰好适合于为复杂多媒体数据和信息提供强有力抽象机制。n多媒体信息元模型更是利用了面向对象方法。第19页MHEG标准 n由ISO/IEC JTC1/SC29/WG12教授组(MH
11、EG)来制订超文本信息元标准。n主要集中在以下几个方面:交互性和多媒体同时;实时表示;实时交换;对象格式变换。n分两个部分来完成标准化工作:第一部分是概念/原理性定义,第二部分主要是超媒体信息对象及MHEG链表示。n采取面向对象方法来分析设计模型。第20页MH对象分类 n输出内容(Output Content)对象n普通输入(Generic Input)对象(1)按钮(Button)(2)菜单项选择择(Menu selection)(3)多项选择(Multiple selection)(4)字符串(Character string)(5)位置(Location)(6)数值(Numberical
12、 value)第21页 n投射器(Projector)对象 n基本(Basic)对象 n合成(Composite)对象 n条件与动作 第22页MHEG同时机制(1)脚本同时 (2)条件同时 (3)空间时间同时 (4)系统同时 第23页8.4 表现与同时模型n表现表现是把各种媒体信息展示给用户活动,是多媒体数据合成再现。n多媒体表现因各种媒体并存而成为复杂活动,以时间次序和空间关系来安排各种媒体合成表现,即是多媒体同时多媒体同时问题。n空间合成空间合成确定各种媒体在画面空间上位置变换和安排,时间合成时间合成确定媒体对象在时间上次序 第24页时空合成概念描述 n定义定义1 角色是多媒体表现环境中资
13、源,它分为视角色和听角色。视角色对应一块显示区域(窗口),听角色对应扬声器或声卡(声音通道)。n定义定义2 场景是各种媒体对象占用角色活动多媒体空间表现环境。n定义定义3 场景运算是对角色施加操作,它分为一元运算和二元运算。第25页场景运算场景运算场景运算一元运算一元运算二元运算二元运算视角色定位(Loc),变比(Scale),剪裁(Cut),旋转(Rotate)邻接(Abut),覆盖(Overlay),镶嵌(Mosaic),交叠(Overlap)听角色增益(Gain)混声(Mix)第26页n定义定义4 场景表示式 由角色经场景运算而产生结果。它可递归定义为:(1)角色本身是场景表示式；(2)
14、若Q为场景表示式,则Q一元运算结果为场景表示式；(3)若Q1和Q2为场景表示式,则Q1和Q2二元运算结果为场景表示式；(4)若Q为场景表示式,则(Q)也是场景表示式；(5)场景运算优先级由高到低为：(),一元运算,二元运算；(6)场景表示式经(1)-(5)确定规则复合而成。第27页 n定义定义5 5 情节 表示多媒体表现环境中所发生事件,即媒体对象活动。n情节可分为原子情节和复合情节,原子情节是由一个媒体对象连续完成活动,复合情节是由原子情节或复合情节经情节运算结构而成。第28页 n定义定义6 设X1、X2为多媒体表现中2个情节,情节运算定义为：(1)并发运算 X1X2,X1X2 X1,X2同
15、时开始执行,都完成时X1X2完成(称最终并行)；X1或X2有一个完成时X1X2完成(称首先并行)。(2)次序运算 X1;X2先执行情节X1,再执行情节X2,X2完成时X1;X2完成。(3)循环运算 X*m循环m(m1)次执行情节X,X每次执行有不一样对象参加。(4)重复运算 X+m重复m(m1)次执行情节X,X每次执行都同一对象参加。第29页 n定义定义7 情节表示式定义为：(1)情节本身是情节表示式；(2)若X为情节表示式,则X*m,X+m也是情节表示式；(3)若X1和X2为情节表示式,则X1X2,X1X2和X1;X2运算结果也为情节表示式；(4)若X为情节表示式,则(X)也是情节表示式；(
16、5)情节运算优先级为:()优先级高,其余运算优先级相同；(6)情节表示式全部形式可经(1)-(5)确定规则复合而成。n定义定义8 多媒体节目脚本是一个情节表示式。第30页时间合成 n时 间 关 系 普 通 可 用 before、meets、overlap、during、starts、finishes和equals及其逆关系来表示,共有13种。n多媒体对象在时间上并行、次序、独立关系,在对象时间表现控制上分别对应于并发、串行、异步(任意)执行。第31页同时层次与类型 n用户级同时与脚本模型最上层同时,又称表现级同时或交互同时 n合成同时 中层同时 n系统同时 底层同时,是媒体内部同时 第32页时
17、间同时模型功效需求n表示能力表示能力 对象间同时，对象内同时n用户交互用户交互/不确定性不确定性 不确定性管理，高级交互功效（倒带、快进、）n规约生成支持规约生成支持 规约可维护性，规约重用性，不一致性检测 其中有些特点是模型必须支持，如对象间同时；有些特点，模型尽可能给予支持，如不一致性检测。当前所提出同时模型主要有4大类：图模型,基于Petri网模型,面向对象模型,基于语言模型。第33页图模型n图模型把时序场景表示为一个图G=(V,E),其中 结点nV表示合成场景对象/事件;边eE表示时序场景构件之间相互关系。n以Firefly模型为例介绍图模型,使用记号以下：方结点表示多媒体对象开始和结
18、束时间；圆结点表示对象内同时点,它们被放置于对应对象开始和结束事件之间；边表示事件之间时间关系。每个边标识上它所连接事件之间关系。比如标识为：同时(sim.with)或先于10秒(before 10s)。第34页nFirefly模型支持两种约束：时间等式，它要求两个事件同时发生(如sim.with)或一个事件超前于另一事件确定时间量t(如before t)；时间不等式,它支持不确定性表示。比如一个事件超前于另一个最少某个确定时间t(如before at least t),或最少时间t至多时间s(before at least t and no more than s)。startstarten
19、dendstartstartendendstartstartendendsim.withMusic-StartLogo-startsim.withsim.withCarTextbefore t1sim.withsim.withsim.withsim.withMusic-endLogo-end第35页 Petri网模型n时间Petri网描述多媒体同时基本思绪:将时序场景中媒体对象布局表示为Petri网中库所,时间关系表示为变迁。n对象合成Petri网(OCPN)模型为例介绍基于Petri网多媒体同时形式描述模型。nOCPN模型是在常规Petri网基础上增加了延时值和资源值等扩充而成。n定义定义1
20、 Petri网(PN)记为CPN=T,P,F,其中 T=t1,t2,tn,表示变迁集合,n0;P=P1,P2,Pm,表示库所集合,m0且PT=；FTPPT,代表库所与变迁之间有向弧集合。第36页n定义定义2 标识Petri网(MPN)定义为CMPN=T,P,F,M 其中T,P,F定义同PN中定义,而 M:PI,I=0,1,2,n定义定义3 OCPN定义为COCPN=T,P,F,D,Re,M 其中T,P,F,M定义同MPN定义,而 D:PR(实数集)Re:Pr1,r2,rk D是从库所集合到实数(连续时间)映射,Re是从库所集合到资源集合映射。CarDelayTextT1,R1Tc,RcT2,R
21、2第37页面向对象模型n时序场景被建模成相互联络对象集合。同时多媒体对象时间信息经过对象属性方式来建模。n合成对象是建模时序场景强有力工具。可把时序场景建模成一个合成对象,其中每个组元是合成场景对象。建模以及合成场景对象属性和方法普通用来表示同时需求。nODA是由ISO/ITU/ECMA联合开发标准化文档结构,用于管理开放分布式办公文档。ODA基本版本不能处理音视频类数据类型,考虑文档仅由文本、图形和图象组成。有些人提出了对ODA结构扩充,加强ODA框架处理时间信息能力。第38页 nHoepner在ODA框架内提出多媒体对象同时通用模型。n每个时序场景可建模成情节集合。情节在一些给定对应于特殊
22、事件时间点进行合成。合成在该模型中仅能出现在每个情节开始和结束点。n同时需求经过路径表示式来进行描述,路径表示式由路径算子组合原子情节而形成。nHoepner定义路径算子以下:(1)最终并行(AB)情节A和B起始于一个公共起点,并行执行。当全部参加情节(A和B)都结束时,合成情节才结束。(2)首先并行(AB)情节A和B起始于一个公共起点,并行执行。当其中某一情节首先结束时,合成情节即结束。第39页 (3)串行(A;B)只有A先执行完后才有可能执行B。(4)可选(A|B)执行A或B都是允许。(5)重复(Ai*)情节A将重复i次。(6)并发(N:A)情节A将被许可同时并发执行N次。n 比如，算子路
23、径Path A;(BC)(DE);F*end 含义是:A开始开启,A刚结束,4个情节B、C、D、E同时开启,在B、C结束或D、E结束时,F开始执行(0次或屡次)。第40页基于语言模型n利用同时原语扩展传统并发程序设计语言建模多媒体同时需求,基于LOTOS、Hytime和TCSP等语言模型。nTCSP是CSP语言时间扩充。nTCSP作为一个描述语言，它使用了下述记号：SKIP 进程(不做任何事情)马上结束;STOP 终止;WAIT t 延迟时间t后结束；|异步并行；P Q 由环境决定外部选择；P Q 内部选择；aP 事件a发生时控制传给P；aP 事件a发生后时间t,控制传给P；P Q 超时操作,
24、假如时间t之前无与P通信发生,把控制从P传到Q；P;Q 次序合成；等等。tt第41页 nTCSP功效强大,足以描述Allen定义13种关系。如：equals(x,y)=(x.ready (y.ready E1)(synch-error SKIP)(y.ready (x.ready E1)(synch-error SKIP)E1=x.present y.present;(x.free (y.free SKIP)(synch-error SKIP)(y.free (x.free SKIP)(synch-error SKIP)n描述规范生成后必须要检验其正确性。验证正确性分两步：首先有必要给出规范必
25、须满足性质；然后证实描述规范满足了定义性质。利用TCSP描述同时规范可用TCSP证实理论来检验其是否满足安全性、活性等性质。第42页多媒体表现脚本语言n脚本及脚本语言nS.R.L.Meira和A.E.L.Moura基于表现对象间及表现对象与时钟间时间关系模型而开发一个脚本语言:(1)语法描述;(2)节目编程举例.第43页本章小结 n首先分析多媒体系统数据模型层次结构;n简明介绍了基于集合论和一阶逻辑超文本系统形式化描述方法,还对信息元模型进行了讨论;n讨论了表现与同时相关概念,时间同时方法,在多媒体系统建模中有影响同时模型;n本章内容属多媒体技术基础研究部分,当前还不够系统化,希望经过本章介绍对读者深入研究或应用多媒体系统有所帮助。第44页
