语义相似度模型 SBERT——一个挛生网络的优美范例

论文地址：https://arxiv.org/abs/1908.10084

论文中文翻译：https://www.cnblogs.com/gczr/p/12874409.html

源码下载：https://github.com/UKPLab/sentence-transformers

相关网站：https://www.sbert.net/

“论文中文翻译”已相当清楚，故本篇不再翻译，只简单介绍 SBERT 的原理，以及训练和使用中文相似度模型的方法和效果。

原理

挛生网络 Siamese network（后简称 SBERT），其中 Siamese 意为“连体人”，即两人共用部分器官。SBERT 模型的子网络都使用 BERT 模型，且两个 BERT 模型共享参数。当对比 A,B 两个句子相似度时，它们分别输入 BERT 网络，输出是两组表征句子的向量，然后计算二者的相似度；利用该原理还可以使用向量聚类，实现无监督学习任务。

挛生网络有很多应用，比如使用图片搜索时，输入照片将其转换成一组向量，和库中的其它图片对比，找到相似度最高（距离最近）的图片；在问答场景中，找到与用户输入文字最相近的标准问题，然后给出相应解答；对各种文本标准化等等。

衡量语义相似度是自然语言处理中的一个重要应用，BERT 源码中并未给出相应例程（run_glue.py 只是在其示例框架内的简单示例），真实场景使用时需要做大量修改；而 SBERT 提供了现成的方法解决了相似度问题，并在速度上更有优势，直接使用更方便。

SBERT 对 Pytorch 进行了封装，简单使用该工具时，不仅不需要了解太多 BERT API 的细节，Pytorch 相关方法也不多，下面来看看其具体用法。

配置环境

需要注意的是机器需要能正常配置 BERT 运行环境，如 GPU+CUDA+Pytorch+Transformer 匹配版本。

1
$ pip install sentence_transformers

下载源码

1
$ git clone https://github.com/UKPLab/sentence-transformers.git

模型预测

在未进行调优（fine-tune）前，使用预训练的通用中文 BERT 模型也可以达到一定效果，下例是从几个选项中找到与目标最相近的字符串。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from sentence_transformers import SentenceTransformer
import scipy.spatial

embedder = SentenceTransformer('bert-base-chinese')
corpus = ['这是一支铅笔',
  '关节置换术',
  '我爱北京天安门',
]
corpus_embeddings = embedder.encode(corpus)
# 待查询的句子
queries = ['心脏手术','中国首都在哪里']
query_embeddings = embedder.encode(queries)
# 对于每个句子，使用余弦相似度查询最接近的n个句子
closest_n = 2
for query, query_embedding in zip(queries, query_embeddings):
  distances = scipy.spatial.distance.cdist([query_embedding], corpus_embeddings, "cosine")[0]
  # 按照距离逆序
  results = zip(range(len(distances)), distances)
  results = sorted(results, key=lambda x: x[1])
  print("======================")
  print("Query:", query)
  print("Result:Top 5 most similar sentences in corpus:")
  for idx, distance in results[0:closest_n]:
    print(corpus[idx].strip(), "(Score: %.4f)" % (1-distance))

训练中文模型

模型训练方法

训练原理：https://www.sbert.net/docs/training/overview.html

训练示例说明：https://www.sbert.net/examples/training/sts/README.html

训练示例代码：examples/training/sts/training_stsbenchmark.py

训练中文模型

把示例中的 bert-base-cased 换成 bert-base-chinese，即可下载和使用中文模型。需要注意的是：中文和英文词库不同，不能将中文模型用于英文数据训练。

下载中文训练数据

下载信贷相关数据，csv 数据 7M 多，约 10W 条训练数据，可在下例中使用

1
2
$ git clone https://github.com/lixuanhng/NLP_related_projects.git
$ ls NLP_related_projects/BERT/Bert_sim/data

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
from torch.utils.data import DataLoader
import math
from sentence_transformers import SentenceTransformer, LoggingHandler, losses, models, util
from sentence_transformers.evaluation import EmbeddingSimilarityEvaluator
from sentence_transformers.readers import InputExample
import logging
from datetime import datetime
import sys
import os
import pandas as pd

model_name = 'bert-base-chinese'
train_batch_size = 16
num_epochs = 4
model_save_path = 'test_output'
logging.basicConfig(format='%(asctime)s - %(message)s',
  datefmt='%Y-%m-%d %H:%M:%S',
  level=logging.INFO,
  handlers=[LoggingHandler()])

# Use Huggingface/transformers model (like BERT, RoBERTa, XLNet, XLM-R) for mapping tokens to embeddings
word_embedding_model = models.Transformer(model_name)

# Apply mean pooling to get one fixed sized sentence vector
pooling_model = models.Pooling(word_embedding_model.get_word_embedding_dimension(),
  pooling_mode_mean_tokens=True,
  pooling_mode_cls_token=False,
  pooling_mode_max_tokens=False)

model = SentenceTransformer(modules=[word_embedding_model, pooling_model])
train_samples = []
dev_samples = []
test_samples = []

def load(path):
  df = pd.read_csv(path)
  samples = []
  for idx,item in df.iterrows():
    samples.append(InputExample(texts=[item['sentence1'], item['sentence2']], label=float(item['label'])))
  return samples

train_samples = load('/workspace/exports/git/NLP_related_projects/BERT/Bert_sim/data/train.csv')
test_samples = load('/workspace/exports/git/NLP_related_projects/BERT/Bert_sim/data/test.csv')
dev_samples = load('/workspace/exports/git/NLP_related_projects/BERT/Bert_sim/data/dev.csv')

train_dataloader = DataLoader(train_samples, shuffle=True, batch_size=train_batch_size)
train_loss = losses.CosineSimilarityLoss(model=model)
evaluator = EmbeddingSimilarityEvaluator.from_input_examples(dev_samples, name='sts-dev')
warmup_steps = math.ceil(len(train_dataloader) * num_epochs * 0.1) #10% of train data for warm-up

# Train the model
model.fit(train_objectives=[(train_dataloader, train_loss)],
  evaluator=evaluator,
  epochs=num_epochs,
  evaluation_steps=1000,
  warmup_steps=warmup_steps,
  output_path=model_save_path)

model = SentenceTransformer(model_save_path)
test_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(test_samples, name='sts-test')
test_evaluator(model, output_path=model_save_path)

测试结果

  • 直接使用预训练的英文模型，测试集正确率 21%
  • 直接使用预训练的中文模型，测试集正确率 30%
  • 使用 1000 个用例的训练集，4 次迭代，测试集正确率 51%
  • 使用 10000 个用例的训练集，4 次迭代，测试集正确率 68%
  • 使用 100000 个用例的训练集，4 次迭代，测试集正确率 71%

一些技巧

除了设置超参数以外，也可通过构造训练数据来优化 SBERT 网络，比如：构造正例时，把知识“喂”给模型，如将英文缩写与对应中文作为正例对训练模型；构造反例时用容易混淆的句子对训练模型（文字相似但含义不同的句子；之前预测出错的实例，分析其原因，从而构造反例；使用知识构造容易出错的句子对），以替代之前的随机抽取反例。

参考