1、大数据时代的数据治理 2019年8月 Data governance in the era of big data 1 数据平台的发展 198119992003200520072009201120132019198819921996 数 据 平 台 发 展 情 况 第一个DW “数据仓库”概念 提出 数据集市 传统数据仓库兴起 Hadoop项目诞生 大数据计算 大数据处理 新一代数据平台 时间 数据之间没 有统一标准 数据难以快速 集成和共享 数据使用者无法 理解数据模型 数据质量 问题堪忧 跨平台数据传 输困难 难以基于海量数 据进行业务创新 目前大数据平台的突出问题 数据不可知数据不可控数
2、据不可取数据不可联 数据治理的价值 用大数据治理连接大数据与业务创新 大数据治理阶段 摸家底 全面梳理企业信息 自动构建数据资产库 01 建立数据标准 提升数据质量 02 建体系 形成企业知识图谱 为全企业提供数据价值 03 促应用 解决各类元数据的采集；实现统一稳定的元数据存储；完成关系的获取和建立 数据资产的自动化 采集、存储 人工智能的知识图谱构建自助化数据服务构建技术 通过合理的技术找出数据问题并找到问题数据；从各个维度监控数据问题，并能通过 最直观和快捷的方式反馈给相关责任人；实现问题发现、认责、处理、归档等数据问 题的闭环解决流程等 数据质量探查 和提升技术 大数据治理关键技术 大
3、数据治理工具 1 元数据 数据质量 主数据 单个工具 2 数据资产管理 数据治理平台 自助服务平台 集成平台 大数据治理工具-元数据管理工具 全面的数据管理能力 元数据管理范畴：传统数据、大数据、工具、 模板 对资产信息的自动获取：自动数据信息采集、 自动服务信息采集与自动业务信息采集 支持一系列的采集器，并且多采用直连的方式 来采集相关信息。 清晰直观、操作便捷 能在一个界面全面了解到元数据信息 通过图像从更多维度、更直观地了解企业数据 全貌和数据关系 通过H5等流行的展现技术实现各浏览器的兼容 支持界面的移植 关注用户诉求、结合使用场景 对业务人员：通过元数据管理的业务需求管理，能更容易
4、地和技术人员沟通，便于需求的技术落地 对开发人员：通过元数据管理能管控系统的开发上线、提 升开发规范性，自动生成上线脚本，降低开发工作难度和 出错几率 对运维人员：通过元数据管理能让日常巡检、版本维护等 工作变得简单可控，辅助日常问题分析查找，简化运维工 作。 大数据治理工具-自助化数据服务平台 数据获取数据准备数据服务开发数据共享发布 keyword 找到数据自助化 业务元数据与技术元数据对接； 自助化数据申请和订阅。 提供数据自动化 基于数据目录的数据服务开发； 在线编辑数据模型，生成作业。 使用数据规范化 数据服务标准应用方式； 数据通道提供平台支撑。 治理数据可视化 基于数据地图形成全
5、链路监控； 事前、事中、事后的数据质量检 查。 数据运维智能化 全局的数据资产监控 数据问题跟踪能力 大数据治理产品 亿信华辰-睿治 普元百度-数据众包 全配置、自部署、零干预；动态缺失数据探查 多维接入，自动化血缘与影响力分析 数据团队 一站式的数据众包服务，可根据特定领域、特 定场景的客户需求，提供定制化的数据获取与 加工方案的设计与执行服务， 为客户交付标准 化结构化的可用数据，数据类型涵盖文本、图 像、音频、视频、网页等。 平台化、可视化、智能化 睿治是一款覆盖数据全生命周期的数据治理平 台，它通过对数据从创建到消亡全过程的监控 和治理，实现数据的统一管理，保证了业务数 据在采集、集中、转换、存储、应用整个过程 中的完整性、准确性、一致性和时效性。 感谢您的聆听！ 11
