基于BERT-Prompt的领域句子向量训练方法

基于BERT-Prompt的领域句子向量训练方法

一、核心原理：基于BERT-Prompt的领域句子向量训练方法

论文提出一种结合提示学习（Prompt Learning）和BERT的领域句子向量训练方法，旨在解决装备保障领域文本的语义表示问题。核心原理如下：

以下通过具体例子解释传统词向量方法和BERT嵌入的问题：

传统词向量方法：忽略词序和依赖关系

场景：分析句子“我 爱 北京 天安门”和“天安门 爱 我 北京”

• 传统方法（平均词向量）：
• 提取词向量：
  • “我”“爱”“北京”“天安门”的词向量分别为 v 1