Early-Stage Innovation Patent Prediction Based on Multi-Task Learning

Tong Xinyu1, Lu Yonghe2,Wang Leqiu3

(1.School of Information Management, Sun Yat-sen University, Guangzhou 510006, China;2.School of Artificial Intelligence, Sun Yat-sen University;3.School of Software Engineering,Sun Yat-sen University, Zhuhai 519082, China)

Abstract：This study addresses a persistent challenge in patent analytics and innovation management: how to identify potentially innovative inventions at an early stage, before ex post indicators such as forward citations, market transactions, or long-term legal outcomes become observable. In many real-world contexts, including research evaluation, technology strategy, and patent portfolio management, decision-makers must assess patent applications under conditions of high uncertainty and limited information. Conventional indicators of patent value or innovation often suffer from substantial time lags and limited interpretability, which constrains their usefulness for early decision making. To overcome these limitations, this study conceptualizes patent examination as an institutionalized expert evaluation process and exploits examiner citations, particularly their citation types, as early and structured signals of novelty assessment. Within the European Patent Office (EPO) system, grant outcomes are treated as a practical proxy for early-stage innovation.

An empirical dataset was constructed using IncoPat, focusing on EPO biomedical patents classified under IPC prefix A61 and published between 2005 and 2025. To ensure the reliability of supervised labels, only applications with final examination decisions and complete examiner citation records were retained. The resulting dataset contains 183 600 A-type citations, and mainly represent background references, and 139 132 X-type citations, and indicate strong novelty or inventive-step challenges. After patent identifier normalization, textual preprocessing of titles, abstracts, and first claims, and citation edge de-duplication, a large-scale patent knowledge graph was built in Neo4j, containing 364 471 patent nodes and 341 123 typed citation edges. The graph exhibits sparsity and heavy-tailed degree distributions, motivating the use of relational graph learning. To avoid information leakage, a subgraph-level data split was adopted so that each focal patent application appears in only one of the training, validation, or test sets, which were divided in a 7:1:2 ratio.

This study proposes an A/X citation-guided multi-task learning framework (AXMLM) that jointly optimizes two interrelated tasks. The first task is examiner citation relation prediction, which infers whether a pair of patents is connected by an A-type or X-type citation. The second task is innovation prediction, operationalized as the probability that a focal patent application will be granted. Patent text is encoded using SciBERT to capture domain-specific technical semantics, while structural information is modeled through a Relational Graph Convolutional Network (R-GCN) that explicitly distinguishes citation types during message passing. In addition to parameter sharing across tasks, a citation-aware dynamic adjustment strategy is introduced, which modifies innovation scores based on the relative prevalence of A-type and X-type citations. This design aligns model outputs with examination logic and improves interpretability by making the influence of examiner signals explicit.

Experimental results demonstrate the effectiveness of integrating semantic and relational information. For citation relation prediction, the SciBERT-based R-GCN model achieves an accuracy of 0.754 5 and an F1 score of 0.744 4, outperforming text-only baselines and a prompt-based large language model baseline. For innovation prediction, AXMLM attains an accuracy of 0.769 5 and an F1 score of 0.748 5, with particularly high recall, indicating strong capability for early screening of potentially innovative applications. Sensitivity analysis on task-weight coefficients shows that emphasizing the citation prediction task further improves innovation prediction performance, supporting the hypothesis that examiner citation types carry meaningful early evaluation signals.Ablation studies confirm the importance of key design components. Replacing R-GCN with a standard GCN leads to a substantial performance drop, highlighting the necessity of modeling relation types. Removing the graph component reduces performance to the level of text-only models, while disabling the dynamic adjustment strategy results in a moderate decline, suggesting that the strategy enhances robustness and interpretability. Additional analyses reveal heterogeneity in citation patterns and grant rates across examiners, IPC subclasses, inventors, and applicants. Robustness checks indicate that discrepancies between predicted and observed grant rates are mainly attributable to small-sample effects rather than systematic bias.

Overall, this study contributes an interpretable and decision-oriented framework for early-stage patent innovation assessment by integrating examiner citation types, domain-specific semantics, and relational learning. The proposed approach provides practical support for early patent screening, portfolio prioritization, and innovation management, and offers a foundation for future extensions to other technological domains, languages, and patent systems.

Key Words：Patent Innovation Prediction; Examiner Citation; Graph Neural Network; Multi-Task Learning

DOI：10.6049/kjjbydc.D102025070677

开放科学(资源服务)标识码(OSID)：

中图分类号：G306

文献标识码：A

文章编号：1001-7348(2026)11-0112-12

收稿日期：2025-07-31

修回日期：2025-12-22

基金项目：广东省重点领域研发计划项目(2021B0101420004)

作者简介：佟昕瑀(1996—),女,贵州贵阳人,中山大学信息管理学院博士研究生,研究方向为知识产权情报学、信息资源语义分析;路永和(1962—),男,吉林白城人,中山大学人工智能学院教授、博士生导师,研究方向为信息资源语义分析、自然语言处理;王乐球(1969—),男,浙江温州人,中山大学软件工程学院专任教员,研究方向为自然语言处理。通讯作者:王乐球。

0 引言

专利作为衡量技术创新与知识产权保护的重要载体,早期准确识别其创新性不仅关系审查质量与效率,也直接影响技术预判、产业布局与政策支持,对于推动高价值创新成果在产业链中深度融合具有重要意义[1]。专利创新性识别是科研资源配置、技术路线选择与创新治理的关键环节。科研管理部门、技术转移机构与企业研发管理人员在专利申请早期阶段需要判断技术潜力,以支持立项筛选、资源投入与战略布局。

传统专利创新性评估方法主要依赖于被引频次、专利家族规模、专利转让等后验指标,通常需要较长时间积累,存在明显的时滞性问题,难以满足实时性和前瞻性评估要求[2]。近年来,随着自然语言处理和生成式人工智能技术的发展,基于专利文本的创新预测方法取得一定突破,但多数方法缺乏可解释性,难以揭示预测结果背后的语义或结构依据,限制了其在审查辅助和技术管理领域的实际应用。

在专利审查过程中,审查员会引用具有类型标注的引文作为对比文件,以评估专利的实用性、创新性和新颖性,从而决定其是否可以获得授权。审查员引用类型被视为一种制度化的专家评审信号,反映创新成果在正式评价体系中的筛选压力与通过概率,其功能类似于科研项目评审或技术评估专家意见[3]。本文将“早期创新”界定为基于专利检索报告与审查意见的近似性预测任务,以授权结果作为专利创新性的代理变量,用以衡量申请专利与现有技术的差异程度,而非对创新实质的直接评定。

为此,本文提出一种审查员引用驱动的多任务学习模型(A/X Citation-guided Multi-task Learning Model, AXMLM),融合SciBERT语义嵌入与关系图卷积神经网络,以专利知识图谱为输入,联合执行引用关系链路预测与创新性预测任务。该模型的创新之处在于将A/X类引用信号显式引入结构化建模过程,实现语义与审查逻辑的联合学习,并通过动态调整策略增强结果的可解释性与实用性。

1 文献综述

随着专利大数据资源的不断开放和人工智能方法的广泛应用,创新性测度理论和技术体系得以快速发展。现有研究不仅关注引文网络中的结构信号,也重视专利文本的语义特征与多元异构信息融合。本文围绕审查员引用类型及其功能、专利创新性测度和专利文本建模方法展开分析。

1.1 审查员引用类型及其功能

在专利审查过程中,审查员作出的引用判断发挥关键作用。这类引用不仅基于审查员对新发明专利与现有技术关联关系的专业评估,还受到审查员依法履行充分披露现有技术的约束,因此整体上呈现出较高的审慎性与严格性[4]。《欧洲专利局审查指南》对审查员引用类型进行标注,其中X类引文用于证明一项或多项权利要求缺乏新颖性或创造性,因而通常最具创新否定性;A类引文则作为背景信息进行补充,不影响专利申请的创新性[5]。X类引文申请往往面临较高授权难度,易被驳回或要求修改,而仅有A类引文专利更具原创性或与现有技术区分度高[6]。Maxwell等[7]指出,引文类型分布是专利授权概率和长期创新价值的早期信号。

1.2 专利创新性测度

专利创新性测度方法涉及多个学科且具体路径各有侧重。其中,引文分析是一种常见方法,其通过考察某一专利被后续专利引用的频次来衡量其影响力及知识扩散情况[8]。被引次数较高的专利通常更具有价值,且往往与重大技术突破相关联[9]。为提升研究方法的科学性,研究者通过分析引文时间分布、自引与他引来源以及被引专利的重要性等指标,可以更全面揭示技术影响范围和创新扩散动态[10]。然而,专利引用具有显著的时间滞后效应与地域领域差异性,不同技术类别和制度背景下引用行为的动态特征不同,故需对引用数据进行解释性校正[11]。

除引文分析外,内容特征分析法也常用于衡量专利创新性,即通过考察专利反向和正向引文所涉及的技术领域跨度,分析其影响范围[12]。有学者对专利文本与既有专利进行相似度计算,来判断其创新差异性[13-14]。此外,专利权利要求数量与科学文献的关联度也是评估创新能力的重要指标[15]。除传统深度学习模型外,ChatGPT等大语言模型被用于跨学科学术分析,显示出其优于传统方法的特征[16]。

市场表现法为专利创新性评价提供了另一种视角,其侧重于专利的实际影响。专利许可、成果转化率和专利转让行为能反映专利的市场价值[17]。与之相关的金融信号,如专利授权后的股价变化、专利维持年限、涉诉频率[18]等反映出其重要性,更能揭示专利在经济活动中的影响力,但通常需要长期观测数据,且易受到外部市场环境波动的影响,导致对单一专利价值的判断存在不确定性[19]。

1.3 专利文本建模方法

专利文献通常篇幅较长,包含技术文本、结构化元数据以及丰富的引文关系网络,这些特征使其适用于深度学习和图神经网络模型进行建模。Transformer系列模型已被广泛应用于专利文本处理领域,如SciBERT[20]和BERT[21]等专业模型,常用于IPC分类、专利相似性估算等任务分析[22]。

图神经网络(Graph Neural Networks, GNN)也被广泛应用于专利关系建模。引文网络和元数据共同构成图结构,其中,节点为专利,边则表示各种关系[23]。利用图卷积神经网络(Graph Convolutional Networks, GCN)可对专利影响力进行有效预测,并通过引文图增强语义表示[24]。此外,Zhu等[25]提出基于GCN的技术融合监测方法,通过生成专利关键词向量,在人工智能应用领域验证其有效性。

近年来,文本与图结构联合建模方法备受关注。Fan等[26]将Siamese BERT编码器与动态图注意力机制相结合用于引文推荐;Shibayama等[27]通过嵌入引文间语义距离,对创新专利进行识别。这些方法表明,结构与语义融合在多项专利智能任务中可显著提升模型准确性。

多任务学习模型在专利领域的应用日益增多。在专利研究中,专利分类、创新预测、引文分类等任务往往紧密相关。多任务学习模型可使一个模型同时学习不同任务,实现信息共享并提升泛化能力。已有研究利用多任务学习模型联合识别高价值专利与标准必要专利[28],表明多任务学习模型能有效应对专利领域复杂的预测任务。

2 数据采集与知识图谱构建

本文以IncoPat专利信息平台(IncoPat Global Patent Database)为主要数据来源。该平台是面向科研与知识产权领域用户的全球专利检索与分析系统,整合120多个国家和地区的专利数据,覆盖全球主要专利局数据,在引文类型、审查结论和法律状态等方面具有较高的准确性和完整性,适用于专利知识图谱构建与创新预测研究。

本文从IncoPat平台筛选包含完整审查信息的欧洲专利局专利数据。考虑到研究目标是构建基于审查结果的授权预测模型,故在筛选时仅保留已形成最终审查决定(授权或驳回)的专利样本。所采集专利同时包含审查员引用信息、引用类别(A类或X类)以及专利审查决定等关键要素,以确保数据既能反映创新性,又具备监督任务学习所需的标签信息。

由于不限定领域,专利总量较为庞大,直接建模会带来较高的计算负担和审查语义差异。在实际审查过程中,专利通常由具备相关技术背景的审查员按照不同领域进行分配与评审。因此,本文以专利申请量较大、审查信息较为完整的生物医药领域作为研究对象,筛选2005—2025年IPC分类号前3位为A61的专利。在IncoPat平台专利审查数据中获得每篇申请专利的对比信息,其中A类引文通常表示该引文对申请专利创新性威胁较小,仅作为参考;而X类引文则表明该引文对申请专利的新颖性或创造性构成较大威胁,可能会影响专利授权决定。数据包括审查员在审查过程中标注的不同类型引文信息,数据集统计情况如表1所示。

为保证数据质量与知识图谱构建的准确性,本文在数据清洗与预处理阶段进行标准化操作。首先,对原始数据进行字段筛查与异常检测,剔除缺失必要字段(如引文类型、授权标签)的记录,以及重复行与自引用条目。其次,统一专利号表示格式,确保节点标识的一致性。最后,对文本字段(包括标题、摘要与权利要求)进行清洗,剔除特殊符号并对大小写进行归一化处理,以便后续语义嵌入模型使用。

在结构化信息层面,统一审查员引用类型(A类、X类)的标注格式,规范日期字段(申请日、公开日)的时间格式,并检查IPC分类号的完整性与一致性。在生成知识图谱前对节点与边进行唯一化处理,以确保引文关系正确连接和无孤立节点。通过上述预处理,可确保数据的完整性、规范性和可复现性,以为后续图神经网络建模提供可靠的数据基础,数据集字段如表2所示。

在构建知识图谱前,需明确不同审查员引用类别是否与专利创新存在关联关系。本文以是否获得授权作为专利早期创新性的代理变量,利用回归模型进行相关性分析,并运用T检验法对比专利创新组(即授权组)与非创新组(即未获授权组)之间各类引文的均值差异,以验证各特征的统计显著性,结果见表3和表4。

相关性分析结果显示,A类引文和X类引文均与专利授权结果具有显著关联。其中,A类引文具有明显的正向效应,即A类引文越多,专利获得授权的可能性越大。这与T检验结果一致,授权组A类引文均值(3.852)显著高于未授权组(1.31)。相比之下,X类引文则具有显著负向效应,即X类引文越多,专利获得授权的可能性越小。这一结果也被T检验进一步验证,即未授权组X类引文均值(2.158)明显高于授权组(1.181)。因此,本文用专利授权作为创新性的代理指标是合理且可行的。

在确定审查员引用与专利创新存在关联关系后,本文以审查员引用关系为基础构建专利知识图谱,以便利用图神经网络进行建模和推理。首先,对数据进行预处理与筛选,确定每条专利及其对应的审查员引用信息,明确专利节点间的关系类型。本文将显著影响专利授权结果的A类与X类引文作为知识图谱的核心关系类型。其次,利用Neo4j图数据库构建知识图谱,最终得到包含364 471个专利节点与341 123条引文关系边的大规模专利知识图谱。其中,A类引文与X类引文分别占全部关系的56.24%和43.76%。图谱中每个源专利平均指向4.48个被引用专利,每个专利平均被1.24个其他专利引用,整体图稀疏度接近于0。这些特征表明,该知识图谱规模大、稀疏性高且存在显著的长尾高出度节点,适合用图神经网络进行结构化表征学习和关系推理,表5为该知识图谱的整体统计特征。

为避免训练数据泄露并保持样本结构的独立性,图谱遵循完整子图划分原则,即训练集、验证集与测试集(比例为7∶1∶2)各自包含完整的专利子图,一个源专利节点仅出现在一个集合中,不与其他集合交叉。该划分策略能有效确保模型在不同阶段训练与评估过程中不存在信息泄露情况。

3 面向早期创新预测的多任务学习模型构建

3.1 模型整体框架

为对专利早期创新性进行识别与评估,本文构建审查员引用驱动的多任务学习模型,该模型在结构上融合关系图卷积神经网络(Relational Graph Convolutional Network, R-GCN)[29]与领域语义编码器SciBERT[20],能够同时完成引用关系链路预测与专利创新预测两个核心任务。

相比于通用语言模型,SciBERT通过对大规模科技文献进行预训练,能够更好地捕捉技术文本的领域特征与语义差异,适用于专利文本技术内容建模。R-GCN通过为每一类关系引入独立变换矩阵,使模型能够显式区分不同引用类型及技术领域间的传播机制,其与传统图神经网络相比,更适用于分析包含丰富语义边类型的专利引用网络。

模型整体框架如图1所示,包括文本编码、节点、多任务模型训练与动态调整策略等步骤。首先,收集和清洗专利数据,基于审查员标注的A/X类引文关系构建专利知识图谱。每一节点为一个独立专利,边为引文类型关系。其次,采用SciBERT对每个专利文本进行语义嵌入,结合R-GCN捕捉的结构信息,对节点进行高维表征。最后,通过多任务学习框架,同时优化引文分类与创新性预测,以提升模型整体表现和可解释性。

3.2 多任务学习模型构建

(1)引用关系链路预测模型构建。引用关系链路预测模型用于识别和判断专利之间是否存在特定类型引用关系。这一任务不仅能够对专利网络结构进行学习和推理,也为创新性预测提供了重要的先验知识和解释依据。该模型采用R-GCN对专利知识图谱进行建模。R-GCN能够针对图中不同类型的边(即不同类型引用关系)设置独立变换矩阵,充分挖掘节点邻域的异构关系信息。在每一层,节点通过聚合与自身有关的所有引用类型邻居的信息,来动态更新自身信息,计算方法如公式(1)所示。

(1)

其中,表示第l层节点i的特征,R为所有关系类型集合,为节点i在关系r下的邻居节点集合,为关系r对应的权重矩阵,ci,r为归一化系数,σ为非线性激活函数。

在实际链路预测任务中,模型以每一对专利为预测对象,输出该专利对之间存在A类或X类引用关系的概率。在训练时,将已知引用边作为正样本,将随机采样未连接节点对作为负样本,通过二分类交叉熵损失函数进行优化。该模型不仅可识别已有引用关系,还能在专利网络中挖掘潜在、虽未被标注但却具备结构与语义合理性的创新关联关系。此外,链路预测模型学习结果直接为创新性预测分支提供了结构性先验信号,使得创新性评分更贴合专利网络实际结构和审查逻辑,能显著提升模型整体可解释性与预测精度。

(2)创新预测任务。创新预测任务是多任务学习模型的核心目标,旨在基于专利文本内容与引用网络结构信息,预测专利是否具备足够创新性以获得授权。该任务输入包括两类核心特征:一是专利文本语义特征,采用SciBERT模型对主权项等核心技术文本进行嵌入,以精准刻画专利的创新点与技术内涵;二是专利知识图谱结构特征,通过R-GCN对节点及其邻域引用关系进行建模,以更全面地反映专利在技术网络中的结构位置与影响力。

为进一步增强模型可解释性,本文引入基于引用类型的动态调整策略。即在基础概率评分的基础上,根据专利所关联A类和X类引文引用的数量及其差值,引入可学习权重参数对最终授权概率进行调整。具体而言,A类引文引用数量越多,对模型输出授权率的正向作用越大;X类引文引用数量越多,则对模型输出授权率的抑制作用越明显。该策略不仅与专利实际审查过程中的专家逻辑相符,也为后续决策解释和人工复核提供了理论依据。

在训练过程中,创新预测任务采用二元交叉熵损失(Binary Cross-Entropy)函数,并与引用关系链路预测模型的损失函数进行联合。多任务联合能够促进两任务间的信息共享,增强模型对复杂结构与创新行为的综合建模能力,有效缓解过度拟合问题并提升泛化能力。

(3)动态调整策略。为增强创新预测的可解释性,模型设计引文感知动态调整策略。具体做法为:假设A类引文对授权具有正向影响,X类引文对授权具有负向影响。根据A类与X类引文数量之差对模型输出的创新性基础分数进行动态调整,调整方法如公式(2)所示。

(2)

其中分别表示与该专利相关的A类、X类引文均值,α为可学习超参数。该调整项反映不同引文类型对创新性判别的权重,通过Sigmoid变换输出授权率确定最终得分。这一机制模拟审查员实际决策过程中对不同类型引文的考量,有助于提升模型预测结果的透明度和合理性。

3.3 损失函数与联合优化

为实现引用关系链路预测与授权率预测的协同,本文采用多任务损失函数设计,通过联合优化策略提升模型整体表现。具体而言,模型分别针对链路预测任务和授权概率预测任务设定不同损失函数。对于引用关系链路预测任务,采用交叉熵损失函数衡量模型对A类与X类引文引用关系判别的准确性;对于创新预测任务,采用二元交叉熵损失函数衡量模型预测效果。在每次迭代中,两个任务损失通过加权求和方式组合为总损失,驱动底层共享参数与各分支网络同步优化。这种联合训练方式能够促进不同任务间信息共享,提升特征表征能力和模型泛化水平。

授权概率预测损失Lgranted计算公式如下:

Lgranted=BCE(adjusted score,ygranted)

(3)

其中,adjusted score为经过动态调整的创新评分,ygranted为专利的真实授权标签。

引用关系链路预测损失Lrelation计算公式如下:

(4)

其中,ri为模型预测引用关系,yri为真实的引用类型标签。

最终,总损失函数Ltotal为两者之和,公式如下:

Ltotal=Lgranted+Lrelation

(5)

在实际训练过程中,两个任务共享底层语义编码器和结构编码器,不仅实现参数共享和知识迁移,还为模型提供正则化效果,能有效缓解单一任务过度拟合的风险。通过多任务联合学习,模型能够同时捕捉专利文本和网络结构特征,并兼顾引用关系与授权判断的双重目标,从而发现专利网络结构规律与创新价值。

4 实验结果分析

4.1 实验设置

为更全面地评估多任务模型在专利创新预测任务中的有效性,本文以自建数据集为实验数据。该数据集聚焦于生物医药产业领域,数据集规模大且涵盖丰富的引文结构及创新标签。本文实验遵循统一数据划分原则,训练集、验证集和测试集比例为7∶1∶2。本文用于训练集、验证集和测试集的专利集均为独立的专利网络。

(1)模型参数设置。本文以SciBERT为核心文本编码器,最大输入序列长度设为512,能够兼顾专利文本上下文信息与运算效率。分词采用Transformers库中的AutoTokenizer以适配SciBERT词表。结构特征建模部分,运用R-GCN提取节点关系特征,输入、隐藏与输出层维度均为256,网络包含两层R-GCN,Dropout率设为0.3,关系类型数根据知识图谱结构动态确定。另外,通过训练阶段的类别权重调整来缓解类别不平衡问题。优化器选择Adam,学习率设为1e-3,L2正则化权重衰减设为1e-4,批量大小设为1 024,训练轮数设为10。

本文在多任务损失函数中引入可学习参数,以动态调整两任务的相对权重。预实验从总数据集中随机抽取20%作为子集,选用不同系数作为实验参数,记录每一次多任务学习模型实验结果,如图2所示。

实验结果显示,随着α从0逐步增加到1,F1值从0.469 7稳步提升至0.712 9,同时验证集损失从0.570 2下降至0.460 9。这表明,引文类型分类任务对创新预测任务的影响权重增加,有助于模型更充分地利用审查员引用信息来提升创新预测的准确性。因此,后续实验将α初始值设为1,随着训练的不断迭代,模型根据两任务损失的相对梯度变化来自主学习最优任务平衡系数,从而实现对引用关系建模与创新性判断的自适应协调。

图3为模型训练损失曲线,其展示了模型在20轮训练过程中的收敛趋势。可以看出,训练损失随训练轮次逐步下降,并在第10轮后趋于稳定。因此,本文后续实验均训练10个轮数,以兼顾性能与计算效率。

实验采用8核RTX 2080Ti GPU进行训练,操作平台为Linux系统。实验脚本基于Python语言编写,采用PyTorch深度学习框架对模型训练与多任务进行联合优化。文本语义嵌入部分调用Transformers库中的SciBERT预训练模型,图结构建模部分采用PyTorch Geometric实现R-GCN建模,数据加载与统计分析基于Pandas和NumPy等工具库完成。本文主要参数设置如表6所示。

(2)评估指标。模型性能评估主要采用4个分类指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1值。准确率用于衡量所有预测的正确比例,公式如下:

(6)

其中,TP(True Positive)、TN(True Negative)为模型预测正确的样本数,FP(False Positive)、FN(False Negative)为模型预测错误的样本数。

精确率用于衡量所有被预测为正例的样本中实际为正例的比例,公式如下:

(7)

召回率用于衡量所有实际为正例的样本中被正确预测的比例,公式如下:

(8)

F1值为精确率和召回率的调和均值,用于评价模型综合性能,公式如下:

(9)

(3)对比模型。为系统评估模型性能,本文选取5类具有代表性的对比模型。①BERT-base:采用通用预训练语言模型获取文本嵌入,将其作为纯语义建模的基准。②SciBERT:基于科学与技术文献训练领域语言模型,用以检验领域语义预训练对专利任务的适应性。③Patent-RGCN(BERT嵌入):在专利知识图谱上引入关系图卷积网络,以BERT文本向量作为节点特征,评估结构化信息的增益效果。④Patent-RGCN(SciBERT嵌入):以SciBERT语义向量作为节点输入,结合图结构建模多类型引用关系,用于比较领域语义与结构融合的特征。⑤DeepSeek-R1:采用提示工程调用的大语言模型,用于模拟审查员的语义判断与引用推理过程,提示词模板如表7所示。

4.2 引用关系链路预测实验结果

模型首先对A/X类引用关系链路预测任务进行评测,对比模型主要包括DeepSeek-R1、BERT-base、SciBERT和Patent-RGCN(分别用BERT或SciBERT进行嵌入),实验结果如表8所示。

Patent-RGCN(SciBERT嵌入)模型在A/X类引用关系链路预测任务中的准确率和F1值均优于DeepSeek-R1、BERT-base等传统基线模型。这一结果表明,单纯依赖文本特征的模型难以有效挖掘专利间的复杂结构关系,尤其是在引文关系类型判别上存在一定局限。因此,没有专业领域知识嵌入的通用大语言模型无法很好地对引文关系进行有效识别。

相比之下,本文通过融合专利文本中的语义嵌入与引文网络结构特征,能够更全面地捕捉专利之间的多维创新联系。R-GCN结构的引入使得模型能够针对不同类型引用关系设置专属参数,增强了其对邻域异构信息的感知能力。

4.3 创新预测实验结果

本文进一步将引用关系链路预测任务与创新识别任务构建为多任务学习模型,根据专利间的引用关系和创新特征进行联合训练,AXMLM使用SciBERT模型进行文本嵌入,实验结果如表9所示。结果显示,AXMLM在创新预测任务方面表现最优,F1值和召回率均显著高于对比模型。尤其是召回率较高,表明模型能够有效识别大部分高创新性专利,漏判风险较低,适合实际创新筛查场景。另外,高召回率说明模型在面对创新性分布不均衡、难以判别的边界样本时,依然具有较强的包容性和稳健性。

4.4 消融实验

为进一步验证多任务学习框架及各模块在创新性预测任务中的作用,本文设计消融实验,对模型关键组成部分进行对比评估。实验以AXMLM模型为基础,依次移除或替换部分功能模块,从而比较模型性能变化情况。主要消融方案如下:①AXMLM(完整模型):包含SciBERT语义嵌入、R-GCN结构编码、多任务联合学习与动态权重调整机制。②GCN替代模型(w/ GCN):将R-GCN模块替换为标准图卷积网络(GCN),以验证关系建模的作用。③w/o Dynamic weight(去除动态调节机制):不引入基于引文类型数量的动态调节机制,以评估该机制对预测可解释性与性能的影响。④无图结构模型(w/o GNN):完全移除图神经网络结构,仅保留SciBERT文本语义嵌入部分,用以评估引文结构特征的重要性。

所有实验在相同训练集、验证集和测试划分及参数设置下进行,评价指标包括Accuracy、Precision、Recall与F1值。表10展示了各消融模型在创新预测任务上的性能表现。

将R-GCN替换为标准GCN后,F1值下降约13%,表明多关系建模在捕捉A/X类引文引用语义差异方面发挥关键作用,是模型性能提升的主要来源。完全移除图神经网络结构后,F1值下降约7%,说明引文网络结构特征对创新预测任务具有重要贡献,仅依赖文本语义难以充分反映专利间的创新关联关系。但SciBERT具备较强的领域语义捕捉能力,能够识别专利文本的技术特征和创新要点,因此模型在剔除图结构后仍保持较高的精确率。在剔除动态权重调整机制后,模型性能略有下降,F1值下降约2.5%。由于参数初始值设为1.0,动态更新后取值范围较为平缓(约1.08),因此动态调整机制对模型整体性能的影响有限,但在一定程度上改善了任务间的平衡。

综上,模型性能提升主要得益于R-GCN多关系建模与图结构特征的引入,而动态权重机制则进一步增强了模型的稳定性与自适应性。

4.5 异质性与稳健性检验

为检验模型在不同主体维度下的稳定性与公正性,本文从审查员、技术子类、第一发明人与申请人4个层面开展分组异质性检验。为确保模型稳定性,仅保留各维度中样本量排名前10的子组,并在计算时剔除审查员、第一发明人及申请人字段中未披露的记录。基于处理后样本,对边级的A/X引文引用结构和授权结果分别构建列联表并实施卡方独立性检验,表11展示了分组统计与引用结构特征。

在审查员维度,不同审查员之间的授权率与A/X引文引用结构存在明显差异。例如,Roelof Moers、John Storer的授权率分别为0.86与0.89,对应的A类引文引用比例也较高,分别达到0.8与0.76。相比之下,Martin Schlaug、Marjorie Chopinaud的授权率相对较低(分别为0.59和0.75),且X类引文引用比例较高(均为0.4)。卡方检验结果表明,授权结果在审查员之间的分布差异显著(授权率χ2=6 988.18, p<0.001),A/X引文引用结构在审查员之间的分布差异高度显著(χ2=17 646.27, p<0.001),说明审查员个人风格与审查惯例影响授权结果和引用结构。

在技术子类维度,A61K(医药制剂)中X类引文引用比例最高,达到0.62,对应授权率仅为0.2;而在A61B与A61M相关子类中,A类引文引用比例更高(分别为0.65和0.62),授权率也相对较高(0.53和0.51)。化学类C07D、C07K以及生物技术类C12N则呈现出X类引文引用比例偏高与授权率偏低的组合结构。卡方检验结果显示,A/X引文引用结构在IPC子类之间差异显著(χ2=17 132.17, p<0.001),授权结果在不同技术子类之间的差异也显著(χ2=6 433.46, p<0.001),表明技术领域特征与现有技术密度影响创新判断。

在发明人维度,可观察到多个高产发明人,如Shelton Iv Frederick E、Govari Assaf和Forsell Peter,三者授权率均在0.90左右,A类引文引用比例也维持在0.73左右,体现出较为稳定的高质量创新产出。相比之下,部分发明人如Türkyilmaz Ali的X类引文引用比例高达0.59,授权率仅为0.2,反映出创新质量和审查风险存在显著差异。卡方检验结果表明,发明人之间的A/X引文引用结构差异显著(χ2=143 993.59, p<0.001),授权结果差异也高度显著(χ2=66 673.14, p<0.001),说明发明团队经验和技术积累与授权结果之间存在紧密联系。

在申请人维度,Covidien LP、Ethicon LLC等医疗器械企业授权率较高(分别为0.75和0.81),A类引文引用比例也较高(均为0.72),体现出较为成熟和规范的专利布局策略;三星集团与富士胶片的授权率分别为0.67和0.62,A类引文引用比例分别为0.64和0.72,显示出稳定的渐进式创新结构特征。相比之下,飞利浦公司授权率仅为0.04,尽管其A类比例为0.55,仍反映出其偏向早期申报或高风险布局的创新策略。诺华公司则表现出较高的X类引文引用比例(0.52)与较低授权率(0.29),符合药物研发领域技术密集、审查严格的特征。卡方检验结果显示,申请人之间的A/X引文引用结构差异显著(χ2=84 944.41, p<0.001),授权结果差异也显著(χ2=42 816.99, p<0.001)。

综上,不同审查员、技术领域、发明人与申请人之间存在系统性差异,说明创新判断不仅受文本内容和技术方案的影响,也与主体行为和结构性特征密切相关。这一结果从侧面验证了在授权预测与创新性评估中引入审查员特征、技术子类、发明人及申请人等多元数据的必要性,有助于提升模型在不同子群体的稳健性与公正性。

进一步,以审查员为聚合单位,计算模型预测的平均授权率,并与各组的真实授权率进行比较。两者之间的相关系数为0.487,模型预测与实际结果具有中等强度的一致性,回归结果如表12所示。

回归结果显示,授权率系数显著为正,X类引文引用比例系数显著为负,模型解释力R2为0.248。X类引文引用比例的提高与授权率下降显著相关,而模型预测与真实授权结果一致。模型预测值与真实授权率的组间标准差分别为0.338和0.362,表明不同审查员之间的预测波动较小,模型在审查员层面表现稳定。

在残差检验中,偏高与偏低极值主要出现在样本量极小的审查员个体中,说明模型偏误主要来自样本稀疏性。总体结果显示,模型能够稳健地反映不同审查员与技术子类差异,并在审查风格差异情况下保持较高的一致性和解释力。

5 结果分析与讨论

从实验结果看,本文构建的AXMLM模型在PatentMatch-A61数据集上表现优异,显著优于传统文本模型和大语言模型。融合结构化引文信息与深度语义特征能够有效提升模型对专利创新性的识别能力,尤其在高噪声、结构复杂的专利网络中表现出较强的稳定性和泛化能力。

(1)专利文本嵌入方面,专利文献通常篇幅较长,且包含大量法律术语、模板化表述和复杂的技术术语。标准的Transformer模型在处理此类文本时可能面临一定困难。AXMLM通过使用预训练的SciBERT模型,可有效提升对专利语言的理解能力,并减少对任务专属数据的依赖。此外,R-GCN模块能够捕捉专利间的引文关系,使模型不再仅仅依赖文本输入,这一结构能实现对相关专利内容与上下文本信息的融合。

(2)多任务学习集成方面,AXMLM同时执行引文类型分类和专利授权预测两个任务。这两个任务相互补充,引文类型学习有助于模型捕捉与新颖性相关的信号,而授权结果预测则为引文模式解释提供背景。通过共享统一编码器,模型能够反映专利语言特征与结构关系。这一结构不仅有助于缓解过度拟合问题,还能提升模型泛化能力。

(3)模型应用方面,基于授权代理变量构建的创新预测模型适合作为一种早期创新筛选与风险识别工具,而非对单项专利创新价值的最终裁决。在科研管理与技术管理实践中,该模型可用于辅助识别潜在高创新且面临较高审查风险的专利,或在资源配置、技术布局和成果转化决策中提供前瞻性参考,并进一步结合领域专家判断与具体管理目标进行综合使用。

(4)相关性与显著性检验结果表明,以授权结果作为创新性的代理指标具有统计上的合理性,但两类引文与授权之间的关系并非完全线性一致。部分样本存在显著的残差特征,即在A/X引文分布上偏离整体趋势的专利,其授权结果与预期创新水平不完全匹配。这一现象揭示出授权—创新之间存在潜在错位关系,即部分具有较高原创性的专利可能因权利要求撰写或答复策略不足而未获授权,而某些改进型专利则可能通过策略性撰写获得授权。这种创新性高但授权率低与授权率高但创新性低的双向偏差,反映出授权信号受非技术性因素的干扰,说明授权结果虽然可作为创新性的近似标尺,但并非对创新实质的直接映射。AXMLM模型在融合语义与引文结构特征的同时,能够在一定程度上缓解此类偏差。通过多任务学习机制,模型可区分审查员偏好与真实创新信号,动态调整不同引文类型的影响权重,从而提升创新性预测结果的解释性与稳健性。实验中参数α的调优结果表明,引文类型权重的合理设定对模型性能提升具有显著正向影响,进一步验证了结构化引文信息在创新预测中的价值。

(5)本文实验仅限于欧洲专利局生物医药领域,未对美国专利商标局或中国国家知识产权局审查数据进行系统验证,但从审查员引用行为语义出发,不同法域间可建立对应关系。在美国专利商标局审查实践中,基于35U.S.C.§102与§103条款的驳回均需通过引用对比文献支撑[30],这类拒绝依据型引用与欧洲专利局的X类引文功能一致,而仅用于说明技术背景的引用则对应A类引文。在我国,国家知识产权局发布的《专利审查指南》将可能影响新颖性或创造性的对比文件划分为PX、PY、PE等类型[31],与欧洲专利局的X类引文作用类似,其他不具有实质性冲突的文献则类似于A类引文。

A/X引文所代表的语义区分在不同法域中具有共通基础,本文依赖审查员是否将对比文献作为实质性驳回依据这一行为信号,在理论上具备在不同法域下迁移的可行性。除法域层面迁移外,模型还具备跨领域与跨语言扩展潜力。模型框架依托文本语义编码与图结构建模,也适用于其他技术领域。多语种或跨语言预训练模型可处理用其他语言撰写的专利文本,现有迁移学习模型能够将已学习的知识迁移到新的语义空间,从而实现不同语言和领域间的知识对齐与预测。

(6)模型可解释性体现在模型预测结果与审查员判断逻辑一致。授权预测结果受A/X引文分类的影响,X类引文越多、引用关系越集中,模型预测授权率越低。这与审查员评估专利新颖性和创造性的逻辑相符,因此模型预测结果不仅反映数据规律,也能从审查逻辑角度进行解释。

综上所述,本文提出的结构—语义融合、多任务协同与动态权重调整的早期专利创新预测方法,为专利智能评价与创新管理实践提供了启示,可用于筛选高质量或技术创新性突出的专利,为科研、投资和政策决策提供参考。

6 结论与展望

本文针对专利早期创新性预测中的可解释性与结构语义融合问题,提出一种审查员引用驱动的多任务学习模型。该模型将专利文本语义嵌入与引文网络结构特征相结合,通过R-GCN和SciBERT实现专利间引用关系链路预测与创新性预测联合建模,并引入基于引文类型的动态调整策略。多任务协同与结构—语义联合策略不仅提升了模型的准确性与鲁棒性,也增强了模型在创新性判别过程中的可解释性和应用价值。研究发现,基于审查员引用结构的创新预测模型能够在专利正式授权前识别潜在高创新成果。在高校与科研机构中,该方法可用于辅助专利布局与成果转化优先级排序;在企业研发管理中,其可支持早期技术筛选与研发组合优化,从而降低创新投资的不确定性。

本文尚存在一定局限。首先,实验数据主要来源于生物医药领域的欧洲专利,模型在跨领域与跨语言场景下的适应性需进一步验证。其次,当前知识图谱关系类型较为有限,尚未系统整合申请人、发明人和技术分类等更丰富的专利元数据。最后,随着专利文本与引用网络的演化,模型性能稳定性需长期专利演进数据支撑。未来可从以下几个方面展开深入研究:①拓展多领域、多语种、多类型专利数据集,检验模型的通用性和稳健性;②丰富知识图谱结构,引入更多专利元数据和异构关系,实现更精准的创新网络建模;③结合可解释的人工智能方法,进一步提升模型透明度。

参考文献：

[1] 夏芸,莫本森,谢林伶.高价值专利对产业链与创新链融合的影响研究[J/OL].科技进步与对策,1-13[2025-12-17].https://link.cnki.net/urlid/42.1224.g3.20251208.1318.006.

[2] LEE C, KWON O, KIM M, et,al. Early identification of emerging technologies: a machine learning approach using multiple patent indicators[J]. Technological Forecasting and Social Change,2018,127:291-303.

[3] WADA T. The choice of examiner patent citations for refusals: evidence from the trilateral offices[J]. Scientometrics,2018,117(2):825-843.

[4] 赵阳,文庭孝.专利引证动机分析[J].情报理论与实践,2017,40(7):28-32,16.

[5] European Patent Office (EPO). Guidelines for Examination in the European Patent Office[EB/OL]. (2025-01-31)[2025-12-17]. https://www.epo.org/en/legal/guidelines-epc.

[6] SUN Z, WRIGHT B D. Citations backward and forward: insights into the patent examiner′s role[J]. Research Policy,2022,51(7):104517.

[7] MAXWELL I A, MAXWELL N J L. A quantitative metric for research impact using patent citation analytics[J]. World Patent Information,2022,71:102126.

[8] JAFFE A B, TRAJTENBERG M, HENDERSON R. Geographic localization of knowledge spillovers as evidenced by patent citations[J]. Quarterly Journal of Economics,1993,108(3):577-598.

[9] HARHOFF D, NARIN F, SCHERER F M, et al. Citation frequency and the value of patented inventions[J]. The Review of Economics and Statistics,1999,81(3):511-515.

[10] 孙笑明,袁思懿,彭珍珍,等.基于专利分析与TRIZ的新兴技术预测模型研究——以新能源汽车动力电池为例[J].科技进步与对策,2025,42(17):101-112.

[11] JAFFE A B, DE RASSENFOSSE G. Patent citation data in social science research: overview and best practices[J]. Journal of the Association for Information Science and Technology, 2017, 68(6): 1360-1374.

[12] 王丽,刘细文.基于专利数据的技术主题扩散量化研究与实现[J].数据分析与知识发现,2022,6(6):1-10.

[13] ARTS S, HOU J, GOMEZ J C. Natural language processing to identify the creation and impact of new technologies in patent text: code, data, and new measures[J]. Research Policy,2021,50(2):104144.

[14] 王红玉,周立.实用新型专利质量与科技创新[J].统计与决策,2021,37(19):184-188.

[15] LANJOUW J O, SCHANKERMAN M. Patent quality and research productivity: measuring innovation with multiple indicators[J]. Economic Journal,2004,114(495):441-465.

[16] 尹晓甜,李秀霞,李文.基于句子生成模型的跨学科学术创新机会发现研究[J].情报科学,2025,43(8):20-28.

[17] SERRANO C J. The dynamics of the transfer and renewal of patents[J]. RAND Journal of Economics,2010,41(4):686-708.

[18] KOGAN L, PAPANIKOLAOU D, SERU A, et al. Technological innovation, resource allocation, and growth[J]. Quarterly Journal of Economics,2017,132(2):665-712.

[19] MADIES T, GUELLEC D, PRAGER J C. Patents markets in the global knowledge economy: theory, empirics and public policy implications[M]. Cambridge: Cambridge University Press,2014.

[20] BELTAGY I, LO K, COHAN A. SciBERT:a pretrained language model for scientific text[C]. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2019.

[21] LEE J-S, HSIANG J. Patent classification by fine-tuning BERT language model[J]. World Patent Information, 2020, 61: 101965.

[22] LU Y, CHEN L, TONG X, et al. Research on cross-lingual multi-label patent classification based on pre-trained model[J]. Scientometrics, 2024, 129: 3067-3087.

[23] 胡威,李姝影,张鑫,等.基于图与语义表示学习的专利引文网络链路预测研究[J].数据分析与知识发现,2024,8(10):28-43.

[24] OHAGI M, AIZAWA A. Pre-trained transformer-based citation context-aware citation network embeddings[C]. Proceedings of the ACM/IEEE Joint Conference on Digital Libraries, 2022.

[25] ZHU C,MOTOHASHI K.Identifying the technology convergence using patent text information: a graph convolutional networks (GCN)-based approach[J]. Technological Forecasting and Social Change, 2022, 176: 121477.

[26] FAN H, GONG R, WU J, et al. Hybrid citation recommendation utilizing Siamese BERT and dynamic graph attention network[C]. 2023 3rd International Conference on Electronic Information Engineering and Computer Science, 2023.

[27] SHIBAYAMA S, YIN D, MATSUMOTO K. Measuring novelty in science with word embedding[J]. PLOS One, 2021, 16(7): e0254034.

[28] LIU W, LI S, CAO Y, et al. Multi-task learning based high-value patent and standard-essential patent identification model[J]. Information Processing &Management, 2023, 60(3): 103327.

[29] SCHLICHTKRULL M, KIPF T N, BLOEM P, et al. Modeling relational data with graph convolutional networks[C]. European Semantic Web Conference, 2018.

[30] United States Patent and Trademark Office (USPTO).Manual of patent examining procedure (MPEP)[EB/OL].[2025-10-28].https://www.uspto.gov/web/offices/pac/mpep/index.html.

[31] 国家知识产权局.专利审查指南[EB/OL]. (2023-12-21)[2025-10-28]. https://www.cnipa.gov.cn/art/2023/12/21/art_526_189193.html.

(责任编辑：王敬敏)