Sentence-BERT(SBERT),对预训练的 BERT 进行修改:使用孪生(Siamese)和三级(triplet)网络结构来获得
语 义 上 有 意 义 的 句 子 embedding , 以 此 获 得 定 长 的 sentence embedding , 使 用 余 弦 相 似 度 或
Manhatten/Euclidean 距离等进行比较找到语义相似的句子
其中左图是训练的模型,右图是训练好模型之后利用句向量计算 2 个句子之间的相似度。
u,v 分别表示输入的 2 个句子的向量表示,|u-v|表示取两个向量的绝对值,(u, v, |u-v|)表示将三个向量在-1
维度进行拼接,因此得到的向量的维度为 3*d,d 表示隐层维度。
Simbert