1、mySimmy的记录中的记录中 的现在使用的的现在使用的AddressAddress变为变为 Addr2Addr2，将，将Addr1Addr1放入原始放入原始 的字段中的字段中 ID:111 Name:Simmy Current Address:Addr1 Old Address:Null ID:111 Name:Simmy Current Address:Addr2 Old Address:Addr1 缓慢变化维缓慢变化维 Type3 e.g.Type3 e.g. 维度的类型 快速变化维快速变化维( (Rapidly Changing Dimension,RCD ) ) n 当某个维度的变化
2、是非常快的时候，我们认定他为快速变化维(具体要 看实际的变化频率)，比如：客户的地址、联系电话等。 数据仓库中最有意思的维度是一些非常大的维度，比如客户，产 品等等。一个大的企业客户维度往往有上百万记录，每条记录又 有上百个字段。而大的个人客户维度则会超过千万条记录，这些 个人客户维度有时也会有十多个字段，但大多数时候比较少见的 维度也只有不多的几个属性。 大维大维(Huge Dimension)(Huge Dimension) 维度的类型 微型维微型维(Mini Dimension)(Mini Dimension) 以客户维度举例来说，如果维度表中有数百万行记录或者还要多，而且这些 记录中的
3、字段又经常变化，这样的维度表一般称之为快变超大维度。对于快变超 大维度，设计人员一般不会使用TYPE 2的缓慢变化维处理方法，因为大家都不 愿意向本来就有几百万行的维度表中添加更多的行。 这时，有一项技术可以解决这个问题。解决的方法是，将分析频率比较高或 者变化频率比较大的字段提取出来，建立一个单独的维度表。这个单独的维度表 就是微型维度表。 微型维度表有自己的关键字，这个关键字和原客户维度表的关键字一起进入 事实表。有时为了分析的方便，可以把微型维度的关键字的最新值作为外关键字 进入客户维度表。这时一定要注意，这个外关键字必须做TYPE 1型处理。 在微型维度表中如果有像收入这样分布范围较广
4、的属性时，应该将它分段处 理。比如，存储￥31257.98这样过于分散的数值就不如存储￥30000￥34999 这样的范围。这样可以极大的减少微型维度中的记录数目，也给分析带来方便。 维度的类型 退化维退化维( (DegenerateDegenerate Dimension) Dimension) 退化维度一般都是事务的编号，如订单编号、发票编号等。这类编号需要保退化维度一般都是事务的编号，如订单编号、发票编号等。这类编号需要保 存到事实表中，但是不需要对应的维度表，所以称为退化维度。存到事实表中，但是不需要对应的维度表，所以称为退化维度。 退化维度经常会和其他一些维度一起组合成事实表的主键。
5、在退化维度经常会和其他一些维度一起组合成事实表的主键。在KimballKimball提提 出的维度建模中，事实表应该保存最细粒度的数据。所以对于象销售单这样的事出的维度建模中，事实表应该保存最细粒度的数据。所以对于象销售单这样的事 实表来说，需要销售单编号和产品来共同作为主键，而不能用销售日期、商场、实表来说，需要销售单编号和产品来共同作为主键，而不能用销售日期、商场、 产品等用来分析的维度共同作为主键。产品等用来分析的维度共同作为主键。 目录 nBI的价值 n如何构建BI n数据仓库设计中的几个重要概念 n维度建模 n基础术语 n建模中的三种模型 n维度的类型 n常用的事实表类型 n建模的一
6、般过程 常用的事实表类型 聚集事实表（聚集事实表（Aggregated Fact TableAggregated Fact Table） 合并事实表（合并事实表（Consolidated Fact TableConsolidated Fact Table） 旋转事实表（旋转事实表（Pivoted Fact TablePivoted Fact Table） 预连接聚集表（预连接聚集表（Pre-Joined Aggregagte TablePre-Joined Aggregagte Table） 非事实型事实表（非事实型事实表（Factless Fact TableFactless Fact Ta
7、ble） 切片事实表（切片事实表（S Sliced Fact Tableliced Fact Table） 常用的事实表类型 聚集事实表（聚集事实表（Aggregated Fact TableAggregated Fact Table） 是原子事实表上的汇总数据，也称为汇总事实表。即新建立一个事实表，它的维 度表是比原维度表要少，或者某些维度表是原维度表的子集，如用月份维度表代 替日期维度表；事实数据是相应事实的汇总，即求和或求平均值等。在做数据迁 移时，当相关的维度数据和事实数据发生变化时，聚集事实表需要做相应的刷 新。 物化视图是实现聚集事实表的一种有效方式，可以设定刷新方式，具体功能由
8、DBMS来实现。 常用的事实表类型 合并事实表（合并事实表（Consolidated Fact TableConsolidated Fact Table） 是指将位于不同事实表中处于相同粒度的事实进行组合建模而成的一种事实 表。即新建立一个事实表，它的维度是两个或多个事实表的相同维度的集合；事 实是几个事实表中感兴趣的事实。在Kimball的总线架构中，由合并事实表为主组 成的合并数据集市称为二级数据集市。合并事实表的粒度可以是原子粒度也可以 是聚集粒度。在做数据迁移时，当相关的原子事实表的数据有改变时，合并事实 表的数据需要重新刷新。合并事实表和交叉探察是两个互补的操作。 聚集事实表和合并事
9、实表的主要差别是合并事实表一般是从多个事实表合并 而来。但是它们的差别不是绝对的，一个事实表既是聚集事实表又是合并事实表 是很有可能的。因为一般合并事实表需要按相同的维度合并，所以很可能在做合 并的同时需要进行聚集，即粒度变粗。 比如“营销事务事实表”和“库存快照事实表”就 会有相同的维度表，“日期维度”、“产品维度” 和“商场维度”。这时，如果有个需求是想按共有 维度来对比查看销售和库存的事实，这时就需要发 出两个SQL，分别查出按维度统计出的销售数据和 库存数据。然后再基于共有的维度进行外连接，将 数据合并。这种发出多路SQL再进行合并的操作就 是交叉探查。 常用的事实表类型 旋转事实表（
10、旋转事实表（Pivoted Fact TablePivoted Fact Table） 是将一条记录中的多个事实字段转化为多条记录，其中每条记录保存一个事实字 段的一种建模方法。或者反过来，也可以由多条记录转化为一条记录。 旋转事实表建模方法的使用通常是为了简化前端数据展现的查询。它通过改变后 端的事实记录存储方式，使相应的查询需求的性能得到的极大的提高。如果在 SQL或者查询工具中进行这种转换会非常麻烦，效率也很差。 和合并事实表类似，有时当基础表中没有记录时，旋转事实表也要存储一些零值 在里面。 常用的事实表类型 预连接聚集表（预连接聚集表（Pre-Joined Pre-Joined Ag
11、gregagteAggregagte Table Table） 是通过对事实表和维度表的联合查询而生成的一类汇总表。在预连接聚集表中， 保存有维度表中的描述信息和事实表的事实值。 通过预连接，可以避免在用户查询时RDBMS的连接操作，所以预连接聚集表的 查询效率要高很多。 在这个销售事实表，前五个字段都来自于维度表的描述字段，后两个字段来自于 事实表的事实字段。这样在用户提交查询后，RDBMS就不需要连接维度表和事 实表了，只需直接在该表中查询即可。 产品名称 商标名称 年份 月份 销售人员名称 销售量 销售金额 销售事实表 常用的事实表类型 预连接聚集表（预连接聚集表（Pre-Joined
12、Pre-Joined AggregagteAggregagte Table Table） 预连接聚集表有一个很大的缺点，它需要占用大量的存储空间。预连接事实表的 记录和事实表一样多，每条记录的长度和维度表一样长，所以对存储空间的需求 是非常大的。除非情况特殊，或者该表是高度汇总的，否则不建议建立预连接聚 集表。在建立预连接聚集表时需要平衡效率和存储空间的矛盾。 预连接聚集表的生成方式较为简单，直接使用SQL查询即可生成。 如果聚集导航器的功能很强大的话，也可以处理预连接聚集表。否则，需要用户 理解预连接聚集表，并在SQL中直接使用该表。 预连接聚集表在数据仓库领域有着很重要的作用，是汇总表的一
13、种。它的优点和 缺点都很明显，在使用时需要综合考虑。 常用的事实表类型 非事实型事实表（非事实型事实表（FactlessFactless Fact Table Fact Table） 事实表通常会保存十个左右的维度外键和多个度量事实，度量事实是事实表的关 键所在。在非事实型事实表中没有这些度量事实，只有多个维度外键。非事实型 事实表通常用来跟踪一些事件或者说明某些活动的范围。 下面举例来进行说明： 第一类非事实型事实表是用来跟踪事件的事实表。例如：学生注册事件，学校需 要对学生按学期进行跟踪。维度表包括学期维度、课程维度、系维度、学生维 度、注册专业维度和取得学分维度，而事实表是由这些维度的主
14、键组成，事实只 有注册数，并且恒为1。这样的事实表可以回答大量关于大学开课注册方面的问 题，主要是回答各种情况下的注册数。 第二类非事实型事实表是用来说明某些活动范围的事实表。例如：促销范围事实 表。通常销售事实表可以回答如促销商品的销售情况，但是对于那些没有销售出 去的促销商品没法回答。这时，通过建立促销范围事实表，将商场需要促销的商 品单独建立事实表保存。然后，通过这个促销范围事实表和销售事实表即可得出 哪些促销商品没有销售出去。这样的促销范围事实表只是用来说明促销活动的范 围，其中没有任何事实度量。 常用的事实表类型 切片事实表（切片事实表（Sliced Fact TableSliced
15、 Fact Table） 切片事实表中的字段结构和相应的基础表完全相同，差别在于存储的记录的范 围。切片事实表中保存记录的是相应基础表中记录的子集，记录数通常与某个维 度记录数相同。 这种建模方法一般用来满足特殊需要，如需要分析某些特殊问题时，可以将与之 相关的数据切片出来。相反，这种方法也常用于合并存储在不同地区的数据，即 各个地区都保存自己地区的数据，总部和所有地区的表结构都相同，然后总部将 所有地区的数据合并在一起。 切片事实表的结构与相对应的基础表相同，数据来源于相对应的基础表。切片事 实表由于缩小了表中数据的记录数，所以查询的效率得到了很大的提高。 目录 nBI的价值 n如何构建BI
16、 n数据仓库设计中的几个重要概念 n维度建模 n基础术语 n建模中的三种模型 n维度的类型 n常用的事实表类型 n建模的一般过程 建模的一般过程 确定详细数据的粒度级别 此过程必须是在建模之前最需要考虑的问题 比较典型的粒度指的是单独的，基于时间的或聚集在 一个常用的维度的事务 1 1、确定每个事实表的粒度、确定每个事实表的粒度 建模的一般过程 确定是否需要同时存储编号和描述，或者只是编号， 或者只是描述的信息 确定哪些字段的值需要被筛选掉或者需要存在 2 2、确定维度的属性、确定维度的属性 建模的一般过程 对于时间维度，我们需要确定的是年，季度，月，周 ，日等不同的层次 对于产品维度，我们需
17、要确定的是产品大类，产品小 类，产品等不同的层次 需要注意的是比如在销售中，地理位置的层次可能和 真正的地理位置的层次会有不同 3 3、确定维度的层次、确定维度的层次 建模的一般过程 通常的维度包括时间，产品，投保人，代理人，和地 理等常见对象 请注意，创建的维度需要和与其连接的事实的粒度保 持一致 4 4、确定每个事实所需要关联的维度、确定每个事实所需要关联的维度 建模的一般过程 需要根据具体业务来确定事实及其量度 对于每个聚合事实需要在应用(ETL)过程中进行计算 5 5、确定事实及度量、确定事实及度量( (包括预先计算的事实包括预先计算的事实) ) 建模的一般过程 根据需求，对缓慢变化维
18、进行相应的处理 比如： 对于一个需求为不保留历史的客户维度，我们使用 第一种类型的缓慢变化维来处理； 对于一个需求为需要保留历史的产品维度，我们需 要使用第二种类型的缓慢变化维来处理 6 6、确定缓慢变化维、确定缓慢变化维 一个实例 步骤1：选定某一业务过程，如：库存管理业务 集团 企业管理财务管理煤炭生产安全监督运销公司物资供应 安全政策 瓦斯监测 设备检测 设备报修 工作面防护 巷道管理 水文检测 地区管理 销售 销售管理 客户关系 合同管理 成本库存 运输方式 定货 发运 物资计划 物资采购 成套设备管理 设备维修 设备租赁 库存管理 市场分析 产品考察 销售预测 人事计划 招聘人员 福
19、利政策 新矿投产 旧矿整改 环境保护 财务计划 资本获取 资金管理 借方贷方 流动资金 工资 成本会计 预算计划 利润分析 煤种分类 煤种定价 规格说明 生产能力计划 生产调度 工序安排 设备控制 煤炭加工 对库存管理业务建模 步骤2：根据各用户的需求（关注的主题），定义该业务处 理的粒度。 例如： 主题1及其粒度：矿厂中每种产品库存水平的日快照 主题2及其粒度：每种特定产品的仓库库存事务每日情况 主题3及其粒度：每种特定产品每日的入库装运情况 对库存管理业务建模 步骤3：选定每个事实表的维度 例如： 主题1事实表维度：日期、矿厂、产品 主题2事实表维度：日期、仓库、产品、供应商、事务类型 主题3事实表维度：到货日期、检测日期、入库日期、销售 批准日期、分拣日期、装箱日期、装运日期、最近回收日 期、产品、供应商、仓库 对库存管理业务建模 步骤4：确定每个事实表的数字型事实 例如： 主题1事实表数字型事实：现有数量 主题2事实表数字型事实：仓库库存事务金额 主题3事实表数字型事实：到货量、检测量、退货量、入库 量、批准销售量、分拣量、装箱量、装运量、回收量、顾客 退货量。 完成后的模型 主题1：矿厂中每种产品库存水平的日快照 日期关键字 产品关键字 矿厂关键字 现有数量 矿厂库
