1、2023年9月计算机应用文摘第39 卷第19 期多模态数据背景下的学术知识图谱研究进展杨世坤（南京农业大学信息管理学院，南京2 10 0 95)摘要：随着科研成果等学术信息的快速增长，信息过载的问题开始涌现。应用知识图谱技术，可以有效地揭示研究成果、研究结论、作者、机构、学术论文等不同类型的学术信息间的关系，从而为科研人员提供高效的信息组织服务。近年来，随着数据的不断生成，知识通过多种模态的载体进行传播。学术知识图谱将多模态数据的丰富语义表达与多源数据的特性相结合，提供了多种应用场景和研究范式。文章首先梳理了学术知识图谱的功能与发展状况，随后阐述了多模态数据背景下学术知识图谱的发展过程，最后归
2、纳了多模态学术知识图谱的研究进展，并对未来的研究趋势进行了展望和总结。关键词：学术知识图谱；多模态；综述YANG Shikun中图法分类号：TP391Research progress of academic knowledge graph in context of multimodal data(College of Information Management,Nanjing Agricultural University,Nanjing 210095,China)Abstract:With the rapid growth of academic information such as
3、 scientific research achievements,thepotential problem of information overload has begun to emerge.The application of academicknowledge graph can effectively reveal the relationship between different types of academicinformation,such as research results,research conclusions,authors,institutions,acad
4、emic papersand so on,so as to provide efficient information organization services for researchers.In recent years,with the continuous generation of data,knowledge is disseminated through multimodal carriers.Academic knowledge graph combines the rich semantic expression of multimodal data with thecha
5、racteristics of multi-source data,providing a variety of application scenarios and researchparadigms.This paper first reviews the function and development of academic knowledge graph,thendescribes the development process of academic knowledge graph in the context of multimodal data,and finally summa
6、rizes the research progress of multimodal academic knowledge graph,andprospects and summarizes the future research trends.Key words:academic knowledge graph,multimodal,review1引言相关报告提出“三个第一”的重要论述,着重强调了教育、科技、人才是全面建设社会主义现代化国家的基础性、战略性支撑，同时人才也是激发生产力变革和高质量发展的源泉。随着政策的不断推进,高校和研究所等科研机构作为科研创新的主阵地，不断涌现新的科研成果。然
7、而,在学术信息快速增长的同时,也出现了信息过载的问题。知识图谱技术可以有效地揭示数据间的关系,有助于科研人员对研究成果、研究结论等学术信息进行更高效的组织。科研成果包含文本信息、学术图片、实验视频等多模态数据，而传统知识图谱大多仅有单一的文本信息模态数据，其语义信息相对文献标识码：A有限。因此,将多模态学术数据引入知识图谱是当前研究的趋势。本文将对传统学术知识图谱和多模态学术知识图谱的研究成果进行归纳和总结。知识图谱（Knowledge Graph）是Google在2 0 12 年提出的用于增强搜索引擎能力的工具。与传统的信息管理方式相比,知识图谱有助于人们有效地获取知识间的逻辑关系，利于实现
8、知识间的智能推理。因此,知识图谱的构建技术具有重要的研究意义。有学者认为,知识图谱是由实体组成的语义网络，也是以三元组为组成单位的结构化知识库，它揭示了现实世界中的实体及其语义关系。在不同的研究领域和数据背景下,知识图谱有其相应的研究范式和功能。在情报学领域，知识图谱主要应用于知识存储与组织、2023年第19 期信息计量分析等。2传统学术知识图谱传统学术知识图谱主要分为信息计量分析、信息组织整合两种类型，其中前者主要应用信息计量工具对学术论文进行信息计量分析；后者则以图像形式存储学术实体，从而揭示学术实体间的关系。传统学术知识图谱多是以信息计量学元素为核心构建的学术网络，它由专业领域的信息计量
9、学元素组成,将作者、期刊、引文等信息通过特定的关系联系到一起。Tang等 1 以科研人员、科技文献等信息建立了Aminer学术知识图谱,为科研人员提供学术信息检索、知识评价和知识共享等服务。微软团队提出了大规模学术知识图谱MAG,其中包含科学出版记录、出版物之间的引用关系,以及作者、机构、期刊、会议和研究领域等信息。Zhang等将微软学术知识图谱MAG和清华团队的Aminer进行对齐后,形成了开放知识图谱OAG，此知识图谱集成了更加丰富的学术知识,实现了学术界部分内容的数据共享。Wang等创建了学术知识图谱AceKG,并在此基础上构建了链接预测等任务,便于研究者开展相关科研工作。Ren 等 2
10、 针对中文学术信息构建了中文学术知识图谱TechKG,共涉及38 个学科领域，主要包含标题、作者、机构、关键词和摘要等学术信息。Lo等以学术文章为信息来源构建了S2ORC,其中包含学术全文内容,使学术知识图谱的关系更为复杂,实体内容更为丰富。Peroni等以出版领域为研究对象,整合了多个子本体结构内容,从而构建了 SPAR学术知识图谱,为语义出版和引文提供了相应研究的数据集。Jaradeh等建立了ORKG,它以结构化的方法描述学术论文,将学术论文解析并转化为三元组的形式，从而帮助科研人员以全新的方式探索知识,进而发现不同学科间的关系。Simone等结合学术论文和工业专利的共生关系创建了AIDA
11、-KG,用于对接学术界和工业界,从而促进学术界和工业界的知识流动，以解决产学研融合问题。综合上述研究可以发现，基于信息计量元素构建的学术知识图谱的主要功能是学术网络分析。然而，传统学术知识图谱无法实现动态扩展和数据挖掘，在当前大数据背景下面临大规模网络单元的挑战。学术知识图谱由谷歌提出的“知识图谱”概念演变而来,具有知识存储与组织的功能。在科研领域，学者将学术论文中的实体分为评价实体和知识实体。（1)评价实体主要用于衡量学术影响力，其包含文章的被引用次数、作者、期刊名以及所属院校等。人们可以通过评价实体了解作者的被引用次数和期刊的影响因子等关键因素，这些因素决定着文章的可读计算机应用文摘性,从
12、而影响学术知识的传播。（2）知识性实体则是文章知识的载体,其包含文章的关键字、话题、主题类别、所用的数据以及领域相关的专业术语等。学术论文作为知识载体存在于科研领域，蕴含着丰富的知识和逻辑结构,通过文章内容的相互作用以传播知识。然而，文章中的知识是抽象的，人们很难在学术内容中定位具体知识，只能从学术内容中拆解出独立的知识作为实体。学术知识图谱是领域知识图谱的分支之一，在近年来受到了越来越多的关注。基于学术资源构建的学术知识图谱是组织整合论文和信息计量相关元素的主要工具，被广泛应用于学术知识问答、学术资源推荐、学术知识发现等场景。石琼羽 3 以信息系统领域的学术论文为研究对象，使用深度学习技术进
13、行了实体关系抽取并以三元组的形式进行存储，形成了信息系统领域知识图谱。张哗等 4 基于AceMap学术地图的概念和学术知识图谱AceKG,设计了多种学术地图,帮助用户更直观地了解感兴趣的学术内容，提高了学术平台的实用性。Qiao等 5 设计了一个基于农业叙词表的农业知识图谱模型,实现了两者间的自动转换，为未来基于语义的农业信息检索和问答系统的构建奠定了基础。以上研究表明，学术知识图谱可以高效地进行知识组织与知识发现,但也存在一些问题。（1)学术知识图谱的数据来源于纯文本，忽略了学术图片等其他模态的数据。（2)学术知识图谱的构建框架和学术知识图谱中的学术实体较为固定。在信息计量分析研究范式下，学
14、术知识图谱主要关注学术论文中的信息计量元素和引用关系，主要应用于引文网络分析和信息计量。而在信息组织整合研究范式下，学术知识图谱主要关注知识实体的存储和收集，为科学研究提供检索服务与数据支撑。其中，数据仅来源于文本信息，没有其他模态（如图片等)数据。3多模态学术知识图谱目前,学术知识图谱的研究不再局限于作者和引文等信息计量元素、研究方法与结论的知识实体，开始涵盖图片、音频等其他模态的信息，朝着更为广泛的领域发展。模态是一种生物学概念，指感官下事物发生或存在的方式，如声觉、视觉、触觉都是不同的模态。不同模态的数据具有语义和维度差异，多模态数据结构化处理和组织的技术较少。因此，传统知识图谱主要应用
15、于组织和发现文本信息，对视觉等模态数据的关注度较低。随着多模态机器学习的深人发展，其他模态的数据逐渐被引入知识图谱,以提供多维度的数据补充。9192多模态知识图谱是由多种模态数据组成的结构化知识图谱，主要关注文本和视觉两种模态，现有ImageNet,IMGpedia,Richpedia等多模态知识图谱。随着通用多模态知识图谱的发展,越来越多的学者开始尝试将多模态技术引人学术研究领域，以构建多模态学术知识图谱。相较于传统文本知识图谱，多模态学术知识图谱引入了学术视觉资源，如科技论文中的插图、特定学科的实验视频和音频等其他模态的信息资源。Deng等 6 提出的GAKG对地球科学中的地理位置、地质时
16、间尺度、科技论文插图和文献计量元素等学术信息资源进行了深度耦合，从而构建了地球科学多模态知识图谱。Wang等 7 以相关领域科技论文中细粒度多模态信息资源为核心，构建了多模态知识图谱，为医生和科学家提供知识问答服务。Kannan等 8 提出了一种多模态学术知识图谱,用于组织深度学习论文中的代码块,并将文本和代码组成知识图谱。综上所述,多模态知识图谱在通用领域中的数据模态来源较广。而在学术领域，多模态知识图谱的数据主要来源于文本和图片两种模态。由于专业领域的不同,存在特定模态的数据差异。随着多模态机器学习的发展，多模态学术知识图谱将成为学术知识图谱未来研究的主要方向之一。4未来研究趋势基于近年来
17、的研究成果，结合当下深度学习技术的智能化发展与大规模数据不断生成的现象，多模态学术知识图谱的研究趋势如下：(1)数据多元化。学术知识图谱的研究对象从单一模态逐步扩展到多模态。学术研究中存在多种模态的数据，如实验图像、时间尺度、音频、视频等。相较于传统学术知识图谱，多模态学术知识图谱不再局限于学术文本，而是可以综合多种模态数据，从而更高效地实现信息组织和知识聚类。(2)多领域交叉。多模态数据蕴含的信息更为丰富，可以增大学术知识图谱的规模,从而缩短不同学科与领域间的距离，促进不同学科的融合发展，同时使学术知识图谱的应用从特定领域逐步拓展到通用领域。此外，在专业领域,细粒度高的数据更能体现领域的专业
18、化程度。(3)研究范式丰富。此前，学术知识图谱多应用于信息计量分析领域,以实现信息的存储与组织。随着多模态数据的融合，学术知识图谱在智能问答、知识推理和知识推荐场景中也会得到更广泛的应用,为学术知识图谱的研究提供不同的研究范式。计算机应用文摘5结束语经过不断地发展与变革，学术知识图谱从传统的单一模态数据逐步发展为多种模态数据组合，多模态学术知识图谱已经开始露头角。相较于传统学术知识图谱，多模态学术知识图谱对学术图片、实验视频和实验音频等多维度模态数据进行了组织与整合，实现了更加丰富的功能，为信息资源检索、智能问答和相关研究推荐提供了丰富的研究数据。基于当前研究现状不难发现，多源数据融合、多学科
19、领域交叉、多种研究范式并行是未来多模态学术知识图谱的研究方向之一。针对传统学术知识图谱的不足之处，科研人员应积极探究多模态技术的优势,从而将其应用在学术研究中，使其在学术信息组织和学术信息发现中发挥重要作用。本文对多模态数据背景下学术知识图谱的研究现状进行了归纳和总结,对研究中存在的问题进行了阐述,并展望了未来的研究方向，以期为后续研究提供帮助。参考文献：1 TANG J,ZHANG J,YAO L,et al.Arnetminer:Extraction andmining of academic social networks C/Proceedings of the14th ACM SIG
20、KDD International Conference on KnowledgeDiscovery and Data Mining.USA:ACM,2008:990-998.2 REN F,HOU Y,LI Y,et al.TechKG:A Large-Scale ChineseTechnology-Oriented Knowledge Graph EB/OL.https:/arxiv.0rg/abs/1812.06722.3石琼羽.信息系统领域学术知识图谱的构建与应用 D.北京：北京交通大学，2 0 2 1.4 张哗,贾雨掌，傅洛伊，等.AceMap学术地图与AceKG学术知识图谱学术数据
21、可视化 J.上海交通大学学报，2018,52(10):1357-1362.5 QIAO B,FANG K,CHEN Y,et al.Building thesaurus-basedknowledge graph based on schema layer J.Cl u s t e rComputing,2017,20(1):81-91.6 DENG C,JIA Y,XU H,et al.GAKG:A multimodal geoscienceacademic knowledge graph C/Proceedings of the 30thACM International Conferenc
22、e on Information&KnowledgeManagement,2021:4445-4454.7 WANG Q,LI M,WANG X,et al.COVID-19 literatureknowledge graph construction and drug repurposing reportgeneration EB/0L.https:/arxiv.org/abs/2007.00576v2.8 KANNAN A V,FRADKIN D,AKROTIRIANAKIS I,et al.Multimodal knowledge graph for deep learning papers andcodeEB/0L.https:/arxiv.org/pdf/2203.09138.pdf.作者简介：杨世坤（1997 一），硕士，研究方向：自然语言处理与数据挖掘。2023年第19 期
