1、含量降低这一情况。 lWhy？ 事实上，卫星早已监测到了这 一异常情况，但是因为记录显示臭氧 含量过低，从而被卫星上的计算机程 序当成异常样本而过滤掉了! Sources: http:/exploringdata.cqu.edu.au/ozone.html http:/www.epa.gov/ozone/science/hole/size.html 2.5.12.5.1 53 54 异常检测需要解决的问题 l问题 Q数据中有多少离群点? QFinding needle in a haystack 麦芒中找针，沙里淘金 Q异常样本本身是没有类标签的（无监督方法） 有效性检测有一定的困难 (类似于
2、聚类) l必要的假设: Q在数据中，正常样本的数量在一定程度上多于异常样 本。 2.5.22.5.2 54 55 异常样本检测方法 l大致步骤 Q 建立“正常”样本模型 这种模型可以是统计模型也可以是其他的规律性模型 Q 使用正常样本模型检测异常样本 异常样本的特征异于正常模型 l异常监测方法可以有以下类型 Q 基于图形&基于统计模型 Q 基于距离 2.5.22.5.2 55 56 基于图形的方法 l可以使用盒图，散点图 lBoxplot (1-D), Scatter plot (2-D) l缺点 Q耗时 Q比较主观 2.5.22.5.2 56 57 凸包法 l极端点被认为是异常样本。 l使用
3、凸包法监测极端值 l缺点： l无法检测出出现在数据集中心的异常样本。 2.5.22.5.2 57 58 统计方法 l使用参数模型描述样本集的分布情况 (e.g.,正态分布) l统计检测有赖于以下几点 Q数据分布情况 Q统计模型的参数 (如, 样本均值, 方差) Q异常样本的数量 (影响到置信区间的选择) 2.5.22.5.2 了解了解 58 59 统计方法（1）：Grubbs检验法 l假设样本分布服从于正态分布 l每次检测一个异常样本，将其从样本集中删去，而后重复 检验以下假设 QH0: 样本集中已没有异常样本 QHA: 样本集中至少还有一个异常样本 lGrubbs检验统计量: l如果下式成立
4、，则拒绝H0 2.5.22.5.2 了解了解 59 60 l假设数据集D包含两种样本，分别产生于不同的概率分 布。 QM (正常样本的分布) QA (异常样本的分布) l大致方法: Q在初始阶段，假设所有样本都服从于M分布。 Q令Lt(D) 为t时刻D的log似然值。 Q对于属于M的每个数据点 xt, 将其移至A 令Lt+1 (D) 为新的log似然值. 计算两者差距 = Lt(D) Lt+1 (D) 如果 c (some threshold), 则认为 xt 是一个异常 样本，并且将其确定为A中的成员。 统计方法（2）：最大似然法 2.5.22.5.2 了解了解 60 61 l假设样本分布为
5、混合分布 D = (1 ) M + A lM 为从数据中估计所得的概率分布函数 Q可以基于常见的任何一种建模方法 (如朴素贝叶斯， maximum entropy等等) l假设A为均匀分布 lT时刻的似然函数是: 统计方法（2）：最大似然法 2.5.22.5.2 了解了解 61 62 统计方法的缺点 l大多数的统计检验是针对单因素的 l在多数情况下，数据的真实分布并不知道 l对于高维度数据，有可能难以估计真实的分布情况 2.5.22.5.2 62 63 基于距离的方法 l数据由一个特征向量代表 l基于距离的方法主要有以下三种 Q最近邻法 Q基于密度的方法 Q基于聚类的方法 2.5.22.5.2
6、 63 64 最近邻法 方法: l计算每对数据点之间的距离 l可以使用以下方法识别出异常样本 Q 在距离D 的半径内，邻近数据点的个数少于p个。 Q 距其第K个近邻的距离最大的n个样本 Q 距其K-近邻的平均距离最大的n个样本 lN=100, = 5 2.5.22.5.2 64 65 基于密度的方法: LOF 方法 l对于每个样本，计算其局部邻居点的密度 l计算样本p的局部离群因子，即样本p 及其最近邻样本的平均 密度。 l具有最大LOF值的那些样本点即是异常点。 p2 p1 In the NN approach, p2 is not considered as outlier, while
7、LOF approach find both p1 and p2 as outliers 2.5.22.5.2 了解了解 65 66 基于聚类的方法 l基本思想 Q根据样本的不同密度将数 据聚成若干个簇 Q考察样本数量较少的那些 簇，将他们列为可疑样本 ，进行下一步分析。 Q计算可疑样本与其他样本 簇之间的距离 如果可疑样本距离其他 所有非可疑样本簇都很 远，则可判断他们就是 异常样本。 2.5.22.5.2 66 67 人防数据中心建设方案 1 议程 l l 现状与问题现状与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管
8、理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 2 人防信息化过程中出现的问题人防信息化过程中出现的问题 l l 数据难以利用数据难以利用 l l 系统孤立形成信息孤岛系统孤立形成信息孤岛 l l 缺乏公共服务与决策支持缺乏公共服务与决策支持 l l 信息无法共享与交换信息无法共享与交换 l l 统计口径不一致统计口径不一致 l l 数据价值难以体现数据价值难以体现 l l 缺乏监控与预测缺乏监控与预测 l l 3 议程 l l 现状与问题现状与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及
9、架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 4 人防数据中心的目标 l l 是人防信息资源数据库的存储中心和管理服务中心是人防信息资源数据库的存储中心和管理服务中心 l l 是人防数据交换中心。在省级人防和各级人防间、是人防数据交换中心。在省级人防和各级人防间、 同级人防各部门间、各级人防相互间、各级人防和同级人防各部门间、各级人防相互间、各级人防和 公众间实现电子公文等的数据交换公众间实现电子公文等的数据交换 l l 是网上政务服务系统的公众数据交换中心是网
10、上政务服务系统的公众数据交换中心 l l 是人防的决策支持中心，进行数据挖掘、分析、比是人防的决策支持中心，进行数据挖掘、分析、比 较，提供辅助决策信息较，提供辅助决策信息 5 建立人防数据中心的意义（一） l l 规范化的人防信息模型规范化的人防信息模型 l l 数据整合：整合各职能机构数据整合：整合各职能机构“ “信息孤岛信息孤岛” ”中的数据中的数据 l l 信息模型：统一的人防信息标准和模型信息模型：统一的人防信息标准和模型 l l 数据共享、交换和应用平台数据共享、交换和应用平台 l l 数据共享：跨职能部门和机构的信息共享数据共享：跨职能部门和机构的信息共享 l l 数据交换：作为
11、集中的数据交换中心平台数据交换：作为集中的数据交换中心平台 l l 应用平台：作为公共的应用服务平台服务分散的应用应用平台：作为公共的应用服务平台服务分散的应用 l l 数据中心应用：包含报表，分析，数据挖掘和业务监控等数据中心应用：包含报表，分析，数据挖掘和业务监控等 l l 高效的人防信息化管理设施高效的人防信息化管理设施 6 建立人防数据中心的意义（二） l l 数据共享数据共享 l l 全面整合：把各个职能机构的数据整合到数据中心全面整合：把各个职能机构的数据整合到数据中心 l l 统一正确：完善的数据质量管理保障数据的正确性统一正确：完善的数据质量管理保障数据的正确性 l l 方便访
12、问：各个职能机构可以方便快捷的访问数据方便访问：各个职能机构可以方便快捷的访问数据 l l 数据交换数据交换 l l 集中存储：建立集中的数据交换中心平台集中存储：建立集中的数据交换中心平台 l l 信息传输：自动发送信息到相应的机构人员信息传输：自动发送信息到相应的机构人员 l l 快速响应：根据需要快速的组织决策数据快速响应：根据需要快速的组织决策数据 l l 自助式行政事务：简化工作流程、灵活发布信息自助式行政事务：简化工作流程、灵活发布信息 7 建设原则 l l 政务系统一体化的原则政务系统一体化的原则 l l 实用性和经济性原则实用性和经济性原则 l l 普遍联系性和相对独立性原则普
13、遍联系性和相对独立性原则 l l 先进性和开放性原则先进性和开放性原则 l l 成熟性和标准性原则成熟性和标准性原则 l l 可靠性和稳定性原则可靠性和稳定性原则 l l 安全性和保密性原则安全性和保密性原则 l l 可扩展性和易维护性原则可扩展性和易维护性原则 l l 数据的有效性和完整性原则数据的有效性和完整性原则 8 议程 l l 现状与问题现状与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系
14、统 9 人防数据中心整体工作思路 项目管理过程 基础架构（中间件） 数据整合 应用整合 流程整合 管理整合 集 成 体 系 结 构 设 计 资 源 目 录 / 元 数 据 管 理 数 据 中 心 利 用 决策分析 流程再造 应用增强 资源调整 用 户 及 安 全 集 成 应用及流程整合规划 技 术 及 产 品 选 型 解 决 方 案 准 备 就 绪 解 决 方 案 实 施 建 议 数据资源整合规划 项 目 策 略 开 发 现状 分析 现状 分析 应用 流程 分析 应用 流程 模型 设计 全局 数据 模型 数据 质量 分析 数据中心的循环过程 规划 整合 利用 平台调整 10 主要技术关键点 l
15、 l 元数据元数据标准标准 l l 企业企业应用集成应用集成 l l 智能智能及数据抽取及数据抽取 l l 数据数据交换标准交换标准 l l 跨跨平台平台及及应用编程接口应用编程接口 l l 安全安全认证认证 11 共享数据库 资源目录 数据库 交换数据库 交换/共享 安全 管理 应用支撑 及数据区 平台应用 数据中心 应用 数据库 如：决策支持 综合应用 数据中心的总体实施架构设计图 交换代理 各部门 应用 。 。 应用应用应用应用应用 数据库数据库数据库数据库数据库数据库 其他系统 系统区 各部门 应用 数据库 公共服务 综合应用 交换代理 WEB服务器 12 议程 l l 现状与问题现状
16、与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据交换共享数据交换共享 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 13 整体规划的流程 项目准备 和计划 分析各部门 当前状况 应用系统架构 系统集成架构 IT 管理 定义数据 中心目标 准备工作 项目成果 调研方案 调研数据 业务与数据调 研分析 数据管理资源 基础标准 数据交换管理 制度 数据中心总体 规划 交付成果 总体方案 数据架构 IT 远景目标 平台架构 网络架构 各部门 14 自上而下的规划方法 应用我们的
17、方法论和在类似项目上的经验，根据自上而下的数据中心IT战略框架来帮助客户定 义全面、科学、系统化的数据中心蓝图。 IT 管控 IT战略方向 愿景角色 流程数据 应用 平台 IT 流程IT 组织 规则和标准目标和考核 网络 业务策略 IT 策略 管控 架构 战略方向 愿景定位 目标 数据应用 平台 流程组织 规则和标准绩效 网络 驱动 业务策略 支持 IT 策略 能力 数据中心战略框架数据中心战略框架 15 调研的方法 必须有清晰可行的方法论指导，明确 目标，有的放矢 n 访谈 各部门信息人员 或和系统管理员 n 座谈会 主要系统，包括业务 系统 公共平台等 n 问卷调查 所有调研的部门 n 实
18、地考察 信息化先进的 部门 n 文档资料 部分资料 16 需求分析的方法 分析、规划、设计 数据中心 数据源分析 功能性需求 调查 审批 业务流程分析 非功能需求 业务需求 用户需求 系统需求 标准规范 质量要求 约束条件 17 议程 l l 现状与问题现状与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 18 人防资源目录体系 l l 以元数据为核心，把资源以目录的形式管理起来以元数据为核心，把
19、资源以目录的形式管理起来 l l 以政务分类表和主题词表为控制词表，对人防信息资以政务分类表和主题词表为控制词表，对人防信息资 源进行组织源进行组织 l l 根据需要按行业、部门、地域、分类、主题等方便地根据需要按行业、部门、地域、分类、主题等方便地 变换出用于各种应用目的人防信息资源目录；变换出用于各种应用目的人防信息资源目录； l l 实现对人防信息资源的识别、导航和定位服务，以支实现对人防信息资源的识别、导航和定位服务，以支 持公众方便、快捷地检索、获取和使用人防公开信息持公众方便、快捷地检索、获取和使用人防公开信息 资源。资源。 19 议程 l l 现状与问题现状与问题 l l 目标与
20、作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 20 业务应用系统数据资源 操作员 ORACLESQLSYBASE 适配器 适配器 agentagentagentagent agentagentagent 综合应用 公共 服务 人防综 合门户 人防 智能 agentagentagentagent 数据共享交换服务器 数据共享交换平台的总体设计图 21 数据接口类型及交换方式 应用层 数据层 服务组件 消息 交换 客户
21、组件 SQL 数据库数据库 数据 转换 数据 转换 浏览器浏览器 页面页面 HTTP 服务组件SQL 数据库数据库 客户组件 HTTP WebWeb 服务服务 数据需方 数据供方 智能 代理 数据共享交换平台 服务组件FILE 客户组件 FILE 文件文件 文件文件 22 数据交换平台的主要功能模块组成 产品主要功能 数据共享交换服 务器 l数据交换管理 l数据封装管理 l数据解析管理 l数据传输管理 l传输协议管理 l数据转换管理 数据交换代理l提供主流关系型数据库适配器 l提供主流应用协议适配器 l数据传输管理 l数据封装管理 l数据转换管理 l数据路由管理 l应用配置管理 l会话模式管理
22、 l消息机制管理 l负载均衡管理 l基础架构管理 23 议程 l l 现状与问题现状与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 24 层次结构 内部数据 主题数据库 数据库 统计局数据 局部数据 汇总指标数据汇总指标数据 基础数据基础数据 外部数据 25 四大基础库的建立过程 整合的策略 数据库的整合是一个艰巨漫长的任务，必须有一个好的策略 来指导 对数据质量的摸底非常重要，这需要经验、耐心
23、和技巧 对数据的清洗程度决定了数据的可用度 整合的同时注重从应用的角度出发，只有持续的应用需求才 能保证基础数据库的生命力 整合的次序 按照应用基础的成熟度 按照需求的迫切性 按照数据的质量优劣 26 议程 l l 现状与问题现状与问题 l l 目标与作用目标与作用 l l 整体思路及架构整体思路及架构 l l 整体规划整体规划 l l 资源目录管理资源目录管理 l l 数据共享交换平台数据共享交换平台 l l 四大基础数据库四大基础数据库 l l 决策支持系统决策支持系统 27 数据 交换 数据中心 数据仓库 多维数据库 加载 系统管理 系统监控管理应用安全管理 数据中心的决策支持系统逻辑结
24、构 数据源 应用平台 信息共享 信息交换 “一站式” 服务 决策支持 元数据管理 商业元数据管理数据源元数据管理 ETL管理、数据仓库元数据管理 反馈 宏观决策 数据集市 OLAP OLTP DM OLAP OLTP DM 应用 服务器 数据 整合 ETL 28 数据中心决策支持系统 数据中心的核心及高端应用 辅助人防各级领导进行科学决策的工具 数据中心可持续发展的动力 29 谢谢 30 立的 毛绒。 经起绒（起毛）组织、若起 绒（起毛）纱线为经纱。 纬起绒（起毛）组织：起绒 （起毛）纱线为纬纱。 第二章 第四节 （一）纬起毛组织 纬起绒（起毛）组织是由一个系统的经纱和两个系统的纬纱交 织而成
25、。 第二章 第四节 灯芯绒织物 地组织 平纹作地组织 平纹变化组织 作地组织 斜纹作地组织 第二章 第四节 绒纬组织 V型固结法 松毛固结法 W型固结法 紧毛固结法 第二章 第四节 花式灯芯绒 第二章 第四节 第二章 第四节 （1）织物表面部分起绒 部分不起绒 织入提花法 飞毛提花法 花式灯芯绒 （2）改变绒根的布局： 使绒毛长短发生变化，高度不齐，绒条按绒根分布成花型。 第二章 第四节 （3）采用不同的割绒方式： a.偏刀法 b.采用两次割绒，如特细条灯芯绒 第二章 第四节 纬平绒织物 纬平绒的构成原理： 纬平绒由一组经纱和两组纬纱 （地纬和绒纬）交织而成。纬 平绒与灯芯绒的不同之处在于 其
26、绒纬的绒根组织点均匀分布 于整个组织循环中，割绒时进 刀位置不同。 第二章 第四节 拷花呢的结构设计 设计花纹轮廓（毛绒分布的轮廓） 正确选择毛纬浮长 绒纬组织的确定 确定地纬与绒（毛）纬的排列比 确定地组织 拷花呢织物 第二章 第四节 拷花呢组织作图 地组织用双层接结组织。 表经里经=11， 表纬里纬=11 第二章 第四节 第二章 第四节 绒组织：Rj=32，Rw=16 第二章 第四节 第二章 第四节 （二）经起绒（起毛）组织 第二章 第四节 第二章 第四节 形成方法： 杆织法起绒 用双层织制法 经浮长通割起绒 经平绒织物 第二章 第四节 (a)(b) 七、毛巾组织 （一）毛圈形成 第二章
27、第四节 （二）地组织与毛圈组织的配合 1、打纬阻力 打纬阻力以小为宜 2、对毛经的夹持 对毛经的夹持力要大 3、纬纱的反拨 长打纬后，当筘后退时， 纬纱的反拨力要小。 第二章 第四节 （三）地经与毛经排列比及毛圈高度 地经与毛经排列比有： 11（单单经单单毛） 12（单单经双双毛） 22（双经双双毛） 第二章 第四节 （四）毛巾组织图的绘作 （以四纬双面毛巾为例） 1、地组织2/2经重平，毛组织为1/3变 化方平。 2、地经与毛经排列比为11 3、确定组织循环纱线数，并画出组织 范围，标出毛经与地经。 4、填绘组织点，确定组织配合。 第二章 第四节 八、纱罗组织 第二章 第四节 纱罗组织包括纱
28、组织和罗组织 纱组织：当绞经每改变一次左右位置，织入一根纬纱称为 纱组织。 罗组织：当绞经每改变一次左右位置，织入三根或三根以 上奇数纬纱的组织称为罗组织。 按其扭绞方向又可分为顺绞、对绞 根据绞经在纬纱的上下位置可分为上口纱罗、下口纱罗。 第二章 第四节 穿经方法 1）右穿法（左绞穿法） 从机前看，绞经在地经的 右方穿入半综。机上经纱 从左至右为第1根地经， 第2根绞经。左侧基综在前， 右侧基综在后。 第二章 第四节 2）左穿法 从机前看，绞经在地经的左方 穿入半综。机上经纱从左至右 为第1根绞经，第2根地经。右 侧基综在前，左侧基综在后。 第二章 第四节 纱罗织物的起绞 第二章 第四节 纱
29、罗组织的描绘 1、线条描绘法 2、方格法：绞经在 地经的左右两侧各占 一纵行，并标以同样 的序号。每绞组的经 纱究竟占几综行，需 根据绞组结构而定（ 如一绞三，一绞组有 1根绞经，3根地经， 一个绞组需占5综列 。 第二章 第四节 (a)(b)(c) (a)(b) (c) 纱罗组织的上机要点 1、穿筘图：每一绞组 必须穿入同一筘齿，否 则无法织造。用两横行 表示，连续涂绘的方格 ，代表该绞组内的经纱 与地经穿入同一筘齿， 并不代表经纱根数。 2、穿综图：绞综在前 面，后综与地综在后。 左右穿法穿入基综的方 法及后综的穿法。 第二章 第四节 (a) (b) (a) (c) (b) 3、穿综顺序 4、为了保证开口清晰度，减少断 经，绞综在前面，其他组织在中 间，后综与地综在最后。 5、 采用金属绞综织制纱罗织物时 ，平综时应使地经稍高于半综的 顶部，以便绞经在地经之下顺利 绞转。 6、双经轴 第二章 第四节
