1、科学数据准范建中国科学院算机网信息中心黎建提纲n为什么需要进行标准规范建设n标准规范建设的主要任务n数据库分析设计流程与文档规范化n元数据建设基本设想科学数据库资源状况n数据资源的学科分布n地球科学n空间数据、自然资源、地球环境、地质n生命科学n生物多样性、生态环境、基因、病毒n化学n结构、谱图、反应、化工产品、化合物、化学过程、化学品安全n材料科学n高分子材料、光学材料、材料腐蚀、纳米材料n天文学n天文星表、天文观测n大气科学n大气科学与环境、算法与模式n海洋、能源及少量跨学科领域科学数据库资源状况（cont.）n数据资源的基本来源n实验n观测n实地考察n调查n文献资料整理n统计分析n科学计
2、算n镜像科学数据库资源状况（cont.）n科学数据库数据的基本类型n数值n事实n文献n图像n遥感影像n地图nVideo/Audio科学数据库资源状况（cont.）n科学数据库数据的组织管理方式n结构化（Structured）nRelational Databasen半结构化的（Semi-Structured)nWebn非结构化的（Unstructured)nFile System（Flat File），如实验报告、图形、图像等数据库建设过程中完全的自治性n科学数据库建设过程中完全的自治性(autonomous)n数据选择n数据表示和数据模型n数据项的命名n对数据所表示的概念和语义的解释n系统的
3、功能设计n系统与其他系统之间关联和共享n数据库的实现自治性带来的异构性n自治性带来的异构性n硬件平台异构性n操作系统异构性n数据库系统的异构性n数据库管理系统的异构性n语义异构性(主要来自于对数据所表示的概念和语义的解释的自治性）各自独立的数据服务DB1DB2DBNSearching Interface 1Searching Interface 2Searching Interface NUserDB1DB2DBNSearching Interface ADB1DB2DBNSearching Interface BSDB PortalUserGroup AGroup B数据共享的需求实施数据共
4、享面临的主要问题n建库过程中完全的自治性带来的各个层面的异构性n系统异构性、语法异构性、语义的异构性等n建库过程中缺乏必要的建库文档所带来的数据库的不透明性和不可控制性n缺乏对数据质量的评估，不能保证数据的精确性和完整性n部分建库单位不能提供长期稳定的数据服务n对数据共享认识上的差异n知识产权方面的顾虑与担心提纲n为什么需要进行标准规范建设n标准规范建设的主要任务n数据库分析设计流程与文档规范化n元数据建设基本设想主要任务n元数据标准体系的研究和制订n数据集的元数据标准n各学科领域典型的元数据标准n数据标准体系研究n数据质量评估标准n管理规范体系研究n数据共享的政策与规范n科学数据库运行服务体
5、系提纲n为什么需要进行标准规范建设n标准规范建设的主要任务n数据库分析设计流程与文档规范化n元数据建设基本设想数据库建库分析与文档建设数据资源分析元数据分析数据库设计应用开发更新维护数据说明元数据需求规格书数据库设计说明书应用开发文档更新维护文档数据库建设文档数据库建库分析与文档建设n科学数据库文档模板草案n数据库设计说明书n数据分析说明n元数据分析说明n数据库外部设计说明n结构设计说明n运用设计说明n数据库应用需求说明书n数据更新维护说明书n2002年8.20-9.20向各建库单位征求意见，2002年10月经专家委员会认可后发布执行提纲n为什么需要进行标准规范建设n标准规范建设的主要任务n数
6、据库分析设计流程与文档规范化n元数据建设基本设想科学数据库元数据的定义n科学数据库中元数据的基本定义n元数据是对科学数据库系统中的数据和数据集的内容、质量、状态、使用等相关特性的结构化的描述，其目的是使用户能快速、便捷地发现和访问数据，正确地理解数据、评价数据和使用数据；使管理者能有效地管理数据并对数据访问进行控制。关于数据的元数据数据关于数据的解释和说明元数据数据内容数据质量数据对象/信息对象数据状态数据使用关于数据的元数据n关于数据的元数据主要功能与作用n说明数据的内涵和意义n描述数据产生环境、条件及数据质量等相关信息n保证数据的精确性和完整性n关于数据的元数据建设情况n以结构化的数据库组
7、织管理的数据n以非结构化的形式组织管理的数据关于数据集的元数据数据元数据数据元数据数据元数据数据集数据类型相同元数据结构和描述方法相同数据集元数据关于数据集内容、质量、结构等相关属性的描述关于数据集的元数据n数据集层面的元数据主要功能与作用n标识数据集n描述数据集的上下文信息n数据集的管理n帮助用户发现、定位、使用数据集及数据集中的数据科学数据库元数据标准/格式n形成数据集或某类数据资源的元数据的所有规则集合。不同类型的资源可能有不同的元数据标准/格式。n完整的元数据标准/格式应该包括n元数据项的结构和语义n元数据著录规则（控制词汇表）n元数据编码规则（语法）n同类资源的元数据遵循同样的元数据
8、标准/格式可以实现元数据共享与互操作，同时也容易实现资源的共享元数据标准的作用n标准化可以实现数据的交换和共享n通过元数据格式(Metadata Format)的标准化，实现数据模型的规范化和标准化 (Common Data Model)，一定程度上消除数据库语义上的异构性n通用的数据模型可以作为新建数据库内容分析的参考，保证数据库内容的精确性和完整性n建立起不同的元数据格式之间互通的桥梁，从而通过元数据实现数据的共享和互操作n标准化可以实现经验和技术的共享n共享学科领域通用的工具（如数据分析工具、数据可视化显示工具等）元数据标准的作用DB ADB BSchema A Schema BDATA
9、Data + MetadataData + Metadata元数据标准的作用DB ADB BSchema A Schema BDATAData + MetadataData + MetadataCommon Schema 科学数据库元数据标准框架n三层基本架构n科学数据库数据集元数据标准(Collections)n 科学数据库学科领域数据元数据标准(Items)n元数据交换标准(interoperability)科学数据库元数据标准框架（2）n科学数据库完整的数据集元数据包括n数据集描述信息（描述型元数据）n标识信息n编目信息(cataloging)n查找辅助信息(Finding Aids)n
10、关联信息(Relationships)n数据集管理信息（管理型元数据）n知识产权信息n访问控制信息n数据质量信息科学数据库元数据标准框架（3）n科学数据库完整的数据集元数据包括n数据集结构信息n本地数据模型（Local Schema/Local Data Model)n共享数据模型(Discipline Common Schema / Common Data Model)n数据集技术信息（Technical）n数据集存储软硬件环境信息n数据集加密与认证信息n数据集使用信息n其它参考信息科学数据库元数据标准框架（4）n科学数据库数据集元数据标准实施基本原则n模块化n科学数据库核心元数据 + 学科
11、领域必须元数据 + 可选元数据n著录规则：分析建设科学数据库数据集分类与主题词汇表（Control Vocabulary)n语法规则：XML Schema + RDF Schema科学数据库元数据标准框架（5）n科学数据库学科元数据标准（CDM）n依学科或资源类型分类和分析n作为某一学科内通用的共享数据模型（CDM）n著录规则：依各学科分析和建立必要的著录控制词汇表（Control Vocabulary）n语法规则：XML Schema科学数据库元数据标准框架（6）n交换元数据标准n有关联的学科元数据标准进行抽象与聚合，形成领域核心元数据（Common Core）n不同学科元数据标准进行一对一
12、映射，建立映射表（Mapping/Crosswalk）n科学数据库数据共享本体（Ontology）数据集元数据标准n数据集元数据标准分析原则n自顶向下进行分析，本着与国际通用的元数据标准接轨，简单、实用的原则进行分析n以DC、FGDC/ISO19115为基本的参考标准，结合科学数据实际分析出科学数据库数据集核心元数据n在核心元数据的基础上，分几个大的学科领域分析其学科领域必须的元数据，形成数据集元数据标准中一定条件下可选的元数据项n最后根据科学数据库未来发展的方向以及数据网格等先进应用系统的需要发展可选的元数据项n数据集元数据标准的实施n2003年年中推出数据集元数据标准第一版，在得到专家委员
13、会和建库单位的认可后，开始推广实施。n数据中心将开发出元数据著录和管理工具，供建库单位使用n数据中心将在各数据库数据集元数据建设的基础上，开发科学数据库综合目录（元目录）服务系统（catalog/clearinghouse)数据集元数据标准（Cont.）数据集元数据标准分析流程需求分析需求分析报告标准评估标准评估报告标准设计元数据标准草案著录检验和调整检验报告数据集元数据标准（Cont.）n数据集元数据标准分析流程应用分析需求规格书建立实验系统系统说明书和使用说明书联机试验著录联机实验报告系统评估系统评估报告元数据标准推荐报告关于数据的元数据标准n实施原则n自底向上，以数据资源特定的内涵为基础
14、，保持与国际通用标准兼容n在实例分析的基础上归纳、提炼出各学科共享元数据标准n各学科内共享元数据标准以XML的格式编码，即可以作为数据交换和共享的标准，又可以作为（元）数据库建设的参考模型。n基于内涵的实例分析首先支援计划建立元数据库的单位，资源的类型包括实验报告、数据文件、图形、图像等。关于数据的元数据标准（Cont.）n内涵分析基本流程n需求访谈n工作表单的说明和填写n回填工作表单的初步分析n相关标准研习和评估n标准的选取、比对和需求调整nMetadata需求规格书nMetadata系统的分析和建制nMetadata著录和评估n学科共享元数据标准推荐报告关于数据的元数据标准（Cont.）n2002年内涵分析计划n植物图像元数据格式分析n气象数据元数据格式分析n土壤实验观测数据元数据格式分析n化合物结构元数据格式分析!
