python-Doc2Vec和分类-非常差的结果

我有6000个观测值的数据集；以下是一个示例：

job_id      job_title                                           job_sector
30018141    Secondary Teaching Assistant                        Education
30006499    Legal Sales Assistant / Executive                   Sales
28661197    Private Client Practitioner                         Legal
28585608    Senior hydropower mechanical project manager        Engineering
28583146    Warehouse Stock Checker - Temp / Immediate Start    Transport & Logistics
28542478    Security Architect Contract                         IT & Telecoms

目的是根据职位预测每一行的职位.

首先,我对job_title列进行一些预处理：

def preprocess(document):
    lemmatizer = WordNetLemmatizer()
    stemmer_1 = PorterStemmer()
    stemmer_2 = LancasterStemmer()
    stemmer_3 = SnowballStemmer(language='english')

    # Remove all the special characters
    document = re.sub(r'\W',' ',document)

    # remove all single characters
    document = re.sub(r'\b[a-zA-Z]\b',document)

    # Substituting multiple spaces with single space
    document = re.sub(r' +',document,flags=re.I)

    # Converting to lowercase
    document = document.lower()

    # Tokenisation
    document = document.split()

    # Stemming
    document = [stemmer_3.stem(word) for word in document]

    document = ' '.join(document)

    return document

df_first = pd.read_csv('../data.csv',keep_default_na=True)

for index,row in df_first.iterrows():

    df_first.loc[index,'job_title'] = preprocess(row['job_title'])

然后,我对Gensim和Doc2Vec执行以下操作：

X = df_first.loc[:,'job_title'].values
y = df_first.loc[:,'job_sector'].values

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,stratify=y,random_state=0)

tagged_train = TaggedDocument(words=X_train.tolist(),tags=y_train.tolist())
tagged_train = list(tagged_train)

tagged_test = TaggedDocument(words=X_test.tolist(),tags=y_test.tolist())
tagged_test = list(tagged_test)

model = Doc2Vec(vector_size=5,min_count=2,epochs=30)

training_set = [TaggedDocument(sentence,tag) for sentence,tag in zip(X_train.tolist(),y_train.tolist())]

model.build_vocab(training_set)

model.train(training_set,total_examples=model.corpus_count,epochs=model.epochs)   

test_set = [TaggedDocument(sentence,tag in zip(X_test.tolist(),y_test.tolist())]

predictors_train = []
for sentence in X_train.tolist():

    sentence = sentence.split()
    predictor = model.infer_vector(doc_words=sentence,steps=20,alpha=0.01)

    predictors_train.append(predictor.tolist())

predictors_test = []
for sentence in X_test.tolist():

    sentence = sentence.split()
    predictor = model.infer_vector(doc_words=sentence,alpha=0.025)

    predictors_test.append(predictor.tolist())

sv_classifier = SVC(kernel='linear',class_weight='balanced',decision_function_shape='ovr',random_state=0)
sv_classifier.fit(predictors_train,y_train)

score = sv_classifier.score(predictors_test,y_test)
print('accuracy: {}%'.format(round(score*100,1)))

但是,我得到的结果是22％的准确性.

这使我感到非常怀疑,特别是因为通过使用TfidfVectorizer而不是Doc2Vec(两者都具有相同的分类器),我的准确率达到了88％(！).

因此,我想我在应用Gensim的Doc2Vec时一定做错了.

这是什么,我该如何解决？

还是仅仅因为我的数据集相对较小,而诸如词嵌入等更高级的方法却需要更多数据呢？

最佳答案

您没有提到数据集的大小-行,总单词,唯一单词或唯一类. Doc2Vec最适合处理大量数据.大多数已出版的工作以数万至数百万的文档进行训练,每个文档数十至数千个单词. (您的数据似乎每个文档只有3-5个字.)

同样,已发布的工作往往会针对每个文档具有唯一ID的数据进行训练.有时,使用已知标签代替唯一ID或除了唯一ID外,还可以使用已知标签.但这不一定是更好的方法.通过使用已知标签作为唯一标签,您实际上仅在每个标签上训练一个文档向量. (本质上类似于将具有相同标签的所有行连接到一个文档中.)

您莫名其妙地使用了比训练纪元更少的推理步骤-实际上,这些是相似的值.在最新版本的gensim中,默认情况下,推理将使用与模型配置用于训练的推理时期相同的次数.而且,在推理过程中使用更多的纪元比训练更常见. (此外,您莫名其妙地使用了不同的起始alpha值来进行分类器训练和分类器测试的推断.)

但是主要的问题可能是您选择了5个doc矢量的小尺寸. Doc2Vec模型代替了TfidfVectorizer,后者将每一行总结为一个宽度等于唯一字数(也许是数百或数千个维度)的向量,而Doc2Vec模型将每个文档汇总为5个值.您实质上已经将Doc2Vec视为Lobotomized.通常的值在100-1000之间-尽管如果数据集很小,则可能需要较小的尺寸.

最后,非严格化/阻止可能不是严格必要的,甚至可能是破坏性的.许多Word2Vec / Doc2Vec的工作都不会费心地进行词条化/词干分析-通常是因为数据丰富,而且所有单词形式的出现都很多.

通过确保将稀有字词形式与相关的较长字词形式结合使用,这些步骤最有可能帮助处理较小的数据,从而仍然从原本会很难保留或获得有用向量的字词中获得价值.

但是我可以看到它们可能会损害您的域名的多种方式.在这种情况下,经理和管理人员不会有完全相同的含义,但都可能源于管理.证券和证券变得越来越安全,这就是类似的说法.如果您可以通过评估证明它们有帮助,我只会执行这些步骤. (传递给TfidfVectorizer的单词是否被词条化/词根化？)

python-Doc2Vec和分类-非常差的结果

相关推荐