1、物流数据仓库模型设计方法及规范 物流数据仓库数据模型设计 方法及规范 1 1 模型概述 2 建模方法 3 建模规范 议题 物流EDW模型总体架构 TI Staging TO ODS TW DW TA DM/Repor t 物流EDW分为四层： 1.TI/Staging层作业为数据源数据的接口层；表结构和数据源一致，如需要增加识别数据 源的字段； 2.TO/ODS层作为数据源数据的整合存储层，会保存一定时间段的历史数据；可支持基 本的业务报表；表结构和TI层一致，如需增加识别历史的字段； 3.TW/DW层作为数据仓库的模型层，采用星型模型设计，维表采用逆规范化设计，维 表主键为整数序列，事实表的
2、编码转换为维表的主键，事实表需要尽量简化，不允许 保存描述信息； 4.TA/DM/Report主要是汇总事实表和保存为报表需要的计算结果，尽量为汇总级别的星 型模型，允许在某些情况将指标和描述信息保存在同一表中。 3 1 模型概述 2 建模方法 3 建模规范 议题 建模过程 建模过程分为5个阶段： 1. 需求及数据源分析 需求分析主要了解业务的流程，业务过程产生的单据，以及单据间的关系，业务过程中 涉及的人、物、组织和事； 数据源分析需要了解单据和业务中所涉及的人、物、组织等的主数据表，人物事之间的 关系表；了解以及这些表中包含的主要信息，还有这些表的数据量。 2. High Level模型设
3、计 将需求分析阶段的所得到实体按照数据仓库总线矩阵进行整理；包含哪些分析主题，每 个主题有哪些事实表，有哪些主数据，这些主数据可以归纳成哪些维表。每个分析主题 或事实表与哪些维度有关。 5 建模过程 建模过程分为5个阶段： 3. DW层模型设计 DW层设计采用数据驱动和业务驱动结合的方法，首先通过数据驱动的方法识别维表的 主要属性，如果需要在通过业务驱动的方法增加业务需要的属性或者层级；先设计维表 ，在设计事实表，事实表可以直接引用维表ID字段，事实表需要保存最低粒度的交易事 实。 维表设计需要考虑维表的数据量，对于大规模维度需要特殊处理: 一种方法是将常用的上面几层单独新建一个维度 另一种方
4、法是将维表的数据按照使用情况，将最近一个阶段用到的记录单独抽出来 最为一个维表，这种情况需要保证，两个表的ID一致，事实表只有一个字段连接全 表和最近使用的表。 定义事实表时，需要将业务系统单据的属性做简化，如果事实表包含同一维表的多个层 级，只保留最低的层级，单据中的多个类型、状态、FLAG字段需要通过杂项维来简化， 减少事实表字段；对于必要的相关单据号，如订单号，直接保留在事实表中，作为退化 维处理，不需要要为退化维建维表。 6 建模过程 建模过程分为5个阶段： 4. DM/报表层模型设计 DM设计采用需求驱动的方法，需求驱动方法步骤： a.调查报表需求, 报表需求需要落实到具体需要分析哪
5、些指标，需要从哪些维度来看，需 要哪些查询条件； b.整理报表需求中的指标和维度，维度整理需要了解维度有哪些层次，每个层次有哪些关 键属性，指标的整理需要了解指标的计算公式，并将指标的计算项落实到，DW层的基 础度量，还需要了解指标的分析的最细粒度，就要分析到哪些维度的哪些层级，参考仓 库模型设计文档仓库维度指标.xlsx； c.整理维度指标矩阵，参考仓库模型设计文档仓库维度指标.xlsx ； d.根据维度指标矩阵整理需要的汇总事实表，可将相同的主题的相同粒度的指标放到一个 汇总事实表。 7 建模过程 建模过程分为5个阶段： 5. 物理模型设计 物流数据仓库采用Hadoop/Hive/Impala的技术架构。 请打大数据开发Team补充这部分内容。 8 1 模型概述 2 建模方法 3 建模规范 议题 建模规范 建模规范参考大数据平台数据模型设计规范.doc 表、字段命名需要参考数据标准.xlsx和数据字典.xls 10 谢谢! Q&A 11
