1、.112.5 相关性推断 .122.6 事件侦测和话题追踪系统实现 . 14第 3 章 新闻数据抓取及元数据抽取 . 153.1 新闻数据增量型抓取 .153.1.1 爬虫数据源确定 .153.1.2 新闻 URL 判断 .163.1.3 新闻 URL 去重 .173.2 新闻元数据抽取 .183.2.1 基于规则的新闻网页元数据抽取 . 193.2.2 基于 DOM Tree 的新闻正文自动抽取算法 . 213.3 本章小结 .23第 4 章 热点事件侦测 .244.1 热点事件的定义 .244.2 新闻数据去重 .244.3 新闻数据再聚类 .284.4 热点事件相关信息生成 .284.5
2、 本章小结 .29第 5 章 词向量动态训练及时间维度的多向量模型 .315.1 词向量模型 .315.2 词向量动态训练模型 .345.2.1 哈夫曼树的建立 .345.2.2 哈夫曼树动态创建 .355.3 基于时间维度的一词多向量模型 .355.4 实验结果 .375.5 本章小结 .37第 6 章 基于关键词的多层级话题追踪及相关性推断 .386.1 话题的定义及当前遇到的问题 .386.2 基于关键字的倒排索引结构 .396.3 基于关键词的话题追踪 .406.3.1 在线数据话题追踪框架 .406.3.2 事件相似度计算 .416.4 多层级话题展示 .436.5 相关性推断 .4
3、36.5.1 话题中的事件相关性推断 .436.5.2 命名实体间的相关性推断 .446.6 实验结果 .456.7 本章小结 .46第 7 章 系统设计与实现 .477.1 系统总体框架图 .477.2 新闻 URL 爬虫模块 .487.3HTML 下载模块及新闻数据抽取模块 . 497.4 事件侦测模块 .507.5 话题追踪模块 .507.6 词向量训练模块及相关性推断模块 .507.7 本章小结 .51第 8 章 总结与展望 .528.1 研究工作总结 .528.2 未来工作展望 .53参考文献.54攻读硕士期间开发的演示系统 .58攻读硕士期间发表的论文 .59参与项目情况 .60致
4、谢 .61图表目录图 2-1 新闻网页文字密度图 .8图 2-2 基于 EM 模型的事件关系图 .13图 4-1 重复新闻展示 .25图 4-2 SimHash 计算过程图 .26图 4-3 SimHash 分段图 .27图 4-4 SimHash 集合分段图 .27图 5-1 词向量示意图 .32图 5-2 CBOW 网络结构图 .32图 5-3 词向量训练过程图.33图 5-4 Skip-Gram 模型 .34图 5-5 哈夫曼树 .35图 5-6 一词多向量模型 .36图 6-1 事件与相关关键词倒排索引示例 .40图 6-2 在线数据话题追踪框架图 .41图 6-3 多层级话题展示 .44图 6-4 相关事件演化关系图 .44图 7-1 系统总体框架图 .47表 3-1 主流新闻网站列表 .15表 3-2 新闻 URL 样例 .16表 3-3 新闻网站网页编码表 .19表 3-4 新闻发布时间格式表 .20表 3-5 新闻正文标签表 .20
