1、 新颖的, 或验证了用户希 望证实的某种假设 n客观与主观的兴趣度度量 : n客观: 基于模式的统计和结构, 例如, 支持度, 置信度, 等. n主观: 基于用户对数据的确信, 例如, 出乎意料, 新颖性, 可行动性 (actionability), 等. 25 能够只发现有趣的模式吗? n发现所有有趣的模式: 完全性 n数据挖掘系统能够发现所有有趣的模式吗? n关联 vs. 分类 vs. 聚类 n仅搜索有趣的模式: 优化 n数据挖掘系统能够仅发现有趣的模式吗? n方法 n首先找出所有模式, 然后过滤掉不是有趣的那些. n仅产生有趣的模式 挖掘查询优化 26 数据挖掘: 多学科交叉 数据挖掘
2、数据库技术统计学 其它学科 信息科学 机器学习可视化 27 数据挖掘分类 n一般功能 n描述式数据挖掘 n预测式数据挖掘 n不同的角度,不同的分类 n待挖掘的数据库类型 n待发现的知识类型 n所用的技术类型 n所适合的应用类型 28 数据挖掘分类的多维视图 n待挖掘的数据库 n关系的, 事务的, 面向对象的, 对象-关系的, 主动的, 空间的, 时间序列的, 文本 的, 多媒体的, 异种的, 遗产的, WWW, 等. n所挖掘的知识 n特征, 区分, 关联, 分类, 聚类, 趋势, 偏离和孤立点分析, 等. n多/集成的功能, 和多层次上的挖掘 n所用技术 n面向数据库的, 数据仓库 (OLA
3、P), 机器学习, 统计学, 可视化, 神经网络, 等. n适合的应用 n零售, 电讯, 银行, 欺骗分析, DNA 挖掘, 股票市场分析, Web 挖掘, Web日志分析, 等 29 OLAP挖掘: 数据挖掘与数据仓库的集成 n数据挖掘系统, DBMS, 数据仓库系统的耦合 n不耦合, 松耦合, 半紧密耦合, 紧密耦合 n联机分析挖掘 n挖掘与 OLAP 技术的集成 n交互挖掘多层知识 n通过下钻, 上卷, 转轴, 切片, 切块等操作, 在不同的抽象层挖掘知识和模式的 必要性. n多种挖掘功能的集成 n 特征分类, 先聚类在关联 30 OLAM 的结构 数据仓库 元数据 MDDB OLAM
4、引擎 OLAP 引擎 用户 GUI API 数据立方体 API 数据库 API 数据清理 数据集成 第3层 OLAP/OLAM 第2层 MDDB 第1层 数据存储 第4层 用户界面 过滤和集成过滤 Databases 挖掘查询挖掘结果 31 数据挖掘的主要问题(1) n挖掘方法和用户交互 n在数据库中挖掘不同类型的知识 n在多个抽象层的交互式知识挖掘 n结合背景知识 n数据挖掘语言和启发式数据挖掘 n数据挖掘结果的表示和可视化 n处理噪音和不完全数据 n模式评估: 兴趣度问题 n性能和可伸缩性( scalability) n数据挖掘算法的性能和可伸缩性 n并行, 分布和增量的挖掘方法 32 数
5、据挖掘的主要问题(2) n数据类型的多样性问题 n处理关系的和复杂类型的数据 n从异种数据库和全球信息系统 (WWW)挖掘信息 n应用和社会效果问题 n发现知识的应用 n特定领域的数据挖掘工具 n智能查询回答 n过程控制和决策制定 n发现知识与已有知识的集成: 知识融合问题 n数据安全, 完整和私有的保护 33 小结 n数据挖掘: 从大量数据中发现有趣的模式 n数据库技术的自然进化, 具有巨大需求和广泛应用 nKDD 过程包括数据清理, 数据集成, 数据选择, 变换, 数据挖掘, 模式评估, 和知识表示 n挖掘可以在各种数据存储上进行 n数据挖掘功能: 特征, 区分, 关联, 分类, 聚类,
6、孤立点 和趋势分析, 等. n数据挖掘系统的分类 n数据挖掘的主要问题 34 数据挖掘界简史 n1989 IJCAI Workshop on Knowledge Discovery in Databases (Piatetsky-Shapiro) nKnowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) n1991-1994 Workshops on Knowledge Discovery in Databases nAdvances in Knowledge Discovery and Data
7、 Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) n1995-1998 International Conferences on Knowledge Discovery in Databases and Data Mining (KDD95-98) nJournal of Data Mining and Knowledge Discovery (1997) n1998 ACM SIGKDD, SIGKDD1999-2001 conferences, and SIGKDD Exploratio
8、ns nMore conferences on data mining nPAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, etc. 35 参考文献源 nData mining and KDD (SIGKDD member CDROM): nConference proceedings: KDD, and others, such as PKDD, PAKDD, etc. nJournal: Data Mining and Knowledge Discovery nDatabase field (SIGMOD member CD ROM): nConfer
9、ence proceedings: ACM-SIGMOD, ACM-PODS, VLDB, ICDE, EDBT, DASFAA nJournals: ACM-TODS, J. ACM, IEEE-TKDE, JIIS, etc. nAI and Machine Learning: nConference proceedings: Machine learning, AAAI, IJCAI, etc. nJournals: Machine Learning, Artificial Intelligence, etc. nStatistics: nConference proceedings:
10、Joint Stat. Meeting, etc. nJournals: Annals of statistics, etc. nVisualization: nConference proceedings: CHI, etc. nJournals: IEEE Trans. visualization and computer graphics, etc. 36 参考文献 nU. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy. Advances in Knowledge Discovery and Data Mining. AAAI/MIT Press, 1996. nJ. Han and M. Kamber. Data Mining: Concepts and Techniques. Morgan Kaufmann, 2000. nT. Imielinski and H. Mannila. A database perspective on knowledge discovery. Communications of ACM, 39:58-64, 1996.
