如何将大型数据集加载到gensim word2vec模型

如何解决如何将大型数据集加载到gensim word2vec模型

所以我有多个文本文件（大约40个）。每个文件约有2000篇文章（每篇平均500字）。每个文档在文本文件中都是一行。

因此，由于内存的限制，我想使用这些文本文件的动态加载进行培训。 （也许是迭代器类？）

那我该怎么办？

• 训练每个文本文件->保存模型->加载模型并在新数据上重新运行？
• 迭代器类是否可以自动执行此操作？
• 我应该逐句，逐条或逐个文本文件地输入模型训练吗？

解决方法

40 text files * 2000 articles * 500 words each的语料库总计约等于40000000个单词，对于这种工作而言，这仍然很小。我猜磁盘上未压缩的文件不到400MB。即使是RAM的4倍，许多台式机或云计算机也可以轻松地将1-2GB的文本作为Python对象作为字符串令牌列表来处理。因此，根据您的系统，您仍然可以自由地在内存中工作。

但是，如果您不这样做，那就可以了，因为gensim Word2Vec和相关类可以轻松地从任意提供依次提供每个项目的可迭代序列中获取所有训练数据，因此实际上，每当需要数据时， iterables 都可以从一个或多个文件中逐行读取文本。

大多数gensim入门Word2Vec教程将通过示例代码（或使用库实用程序）从一个或多个文件中读取内容来对此进行演示。

例如，可以用单个文本文件的路径实例化gensim包含的LineSentence类，其中每行是一个文本/句子，每个单词之间用空格隔开。生成的对象是Python可迭代的序列，可以对其进行迭代以根据需要多次获取这些单词列表。 （在幕后，它每次都打开并流式读取文件，因此一次将RAM中的当前文本存储为空即可。）

早期的gensim Word2Vec教程– https://rare-technologies.com/word2vec-tutorial/ –显示了一个简短的MySentences Python类，该类对单个目录中的所有文件都执行相同的操作：

class MySentences(object):
    def __init__(self,dirname):
        self.dirname = dirname
 
    def __iter__(self):
        for fname in os.listdir(self.dirname):
            for line in open(os.path.join(self.dirname,fname)):
                yield line.split()
 
sentences = MySentences('/some/directory') # a memory-friendly iterable
model = gensim.models.Word2Vec(sentences)

对于Word2Vec，是否提供逐句，逐段或逐条的文字并没有多大关系。驱动结果的是邻近单词的较小窗口，而不是您选择传递给算法的“块”。因此，请执行最简单的操作。 （但是，通过当前的gensim-3.8.3版本，在gensim版本中一次避免使用超过10000个单词的块，因为内部限制将丢弃每个文本超过10000标记的单词。）

但是，不要自己对一个批次进行所有培训，然后对另一批次进行所有培训，依此类推。将所有数据合并为一个可迭代的方法是最好的。然后，将参考所有示例进行初始词汇发现，并通过自动多次训练遍历一起对所有示例进行训练，这是模型收敛的最佳选择。 （您不要希望所有的早期培训都属于一组示例，然后希望所有后期的培训都属于一组不同的示例，因为那样会使示例的相对影响失衡，并阻止通过在每次优化过程中考虑各种训练数据来建立模型。）