在使用 bert 模型作为嵌入向量时，我是否需要根据自己的数据进行训练？

如何解决在使用 bert 模型作为嵌入向量时，我是否需要根据自己的数据进行训练？

当我尝试 Huggingface 模型时，它给出了以下错误消息：

from transformers import AutoTokenizer,AutoModel
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")
inputs = tokenizer("Hello world!",return_tensors="pt")
outputs = model(**inputs)

和错误信息：

Some weights of the model checkpoint at bert-base-uncased were not used when initializing BertModel: ['cls.predictions.transform.dense.bias','cls.predictions.transform.dense.weight','cls.predictions.decoder.weight','cls.predictions.transform.LayerNorm.weight','cls.predictions.transform.LayerNorm.bias','cls.seq_relationship.bias','cls.seq_relationship.weight','cls.predictions.bias']
- This IS expected if you are initializing BertModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
- This IS NOT expected if you are initializing BertModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).

我的目的是找到一个预训练模型来为我的文本创建嵌入向量，以便它可以用于下游文本。我不想创建自己的预训练模型来生成嵌入向量。在这种情况下，我可以忽略这些警告消息，还是需要继续根据自己的数据进行训练？在另一篇文章中，我了解到“大多数官方模型没有预训练的输出层。权重是随机初始化的。你需要为你的任务训练它们。”我的理解是，如果我只想根据公共模型（例如 Huggingface）为我的文本获取通用嵌入向量，则不需要进行训练。是吗？

我是变压器的新手，请发表评论。

解决方法

实际上，bert-base-uncased 模型已经过预训练，并且会产生上下文化的输出，这不应该是随机的。

如果您的目标是获得整个输入序列的向量表示，这通常是通过在模型中运行您的序列（如您所做的那样）并提取 [CLS] 标记的表示来完成的。

[CLS] 标记的位置可能会根据您使用的基本模型而改变，但它通常是输出中的第一个维度。

FeatureExtractionPipeline (documentation here) 是从模型中提取上下文特征过程的包装器。

from transformers import FeatureExtractionPipeline

nlp = FeatureExtractionPipeline(
    model=model,tokenizer=tokenizer,)

outputs = nlp(sentence)
embeddings = outputs[0]
cls_embedding = embeddings[0]

一些有助于验证事情按预期进行的事情：

• 检查 [CLS] 嵌入是否具有预期的维度
• 检查 [CLS] 嵌入是否为相似的文本生成相似的向量，以及为不同的文本生成不同的向量（例如，通过应用余弦相似度）

其他参考文献：https://github.com/huggingface/transformers/issues/1950