NeurlPS 2022 | 深度双向语言 知识图谱预训练 - TreetoForest/LearningNotes GitHub Wiki

斯坦福大学Percy Liang&Jure Leskovec实验室发表在NeurIPS 2022上的文章《Deep Bidirectional Language-Knowledge Graph Pretraining》

深度双向语言-知识图谱预训练

它是一种自监督的方法，用于对文本和知识图谱进行大规模深度联合语言-知识基础模型的预训练。

具体来说，模型将文本段和相关KG（Knowledge Graph）子图的对作为输入，并双向融合来自两种模态的信息。作者通过联合两个自监督推理任务，掩码语言建模和KG链接预测，对该模型进行了预训练。DRAGON在多种下游任务(包括通用和生物医学领域的问答)上的表现优于现有的LM和LM+KG模型，绝对精度平均提高了+5%。特别是DRAGON在语言和知识的复杂推理(涉及长上下文或多步骤推理的问题+10% )和低资源QA (OBQA和RiddleSense +8% )方面取得了优异的表现，并在各种BioNLP任务中取得了最好的结果。