如何解决主题建模内存错误:包含大量数据时如何执行gensim主题建模
我正在讨论一个主题,其中包含大量数据。我正在尝试做我以前做过的LDA和NMF主题建模,但是没有使用我目前正在使用的大量数据。主要问题是在创建模型时不能将所有数据保存在内存中。
我需要模型和相关指标。这是我目前如何制作模型的代码
def make_lda(dictionary,corpus,num_topics):
passes = 3
# Make a index to word dictionary.
temp = dictionary[0] # This is only to "load" the dictionary.
id2word = dictionary.id2token
model = LdaMulticore(
corpus=corpus,id2word=id2word,passes=passes,num_topics=num_topics
)
return model
def make_nmf(dictionary,num_topics):
passes = 3
# Make a index to word dictionary.
temp = dictionary[0] # This is only to "load" the dictionary.
id2word = dictionary.id2token
model = Nmf(
corpus=corpus,num_topics=num_topics
)
return model
这是我如何获得一致性度量和其他一些统计数据
def get_model_stats(model,model_type,docs,dictionary,num_topics,verbose=False,get_topics=False):
if model_type == 'lda':
top_topics = model.top_topics(texts=docs,dictionary=dictionary,coherence='c_v') #,num_words=20)
elif model_type == 'nmf':
top_topics = model.top_topics(corpus=corpus,texts=docs,num_words=20)
# Average topic coherence is the sum of topic coherences of all topics,divided by the number of topics.
avg_topic_coherence = sum([t[1] for t in top_topics]) / num_topics
rstd_atc = np.std([t[1] for t in top_topics]) / avg_topic_coherence
if verbose:
print('Average topic coherence: ',avg_topic_coherence)
print('Relative Standard Deviation of ATC: ',rstd_atc)
if get_topics:
return avg_topic_coherence,rstd_atc,top_topics
return avg_topic_coherence,rstd_atc
如您所见,我需要在不同时间(有时是同时在内存中)存储字典,文本,语料库和id2token对象。但是我不能这样做,因为诸如我的文字之类的东西会占用大量内存。我的机器还不够。
我知道我可以为拥有疯狂RAM数量的虚拟机买单,但是我想知道是否有更好的解决方案。我可以将所有数据存储在磁盘上。如果数据不在内存中,是否可以运行这些模型?还有其他不让我的内存超负荷的解决方案吗?
解决方法
您可以使用一些细微的调整,这些调整可能不会产生太大的变化(例如,将列表理解更改为生成器-例如,在进行总结时),但这是一个节省内存的常规提示,因此我认为值得一提它。
您可以得到的显着差异是,在Dictionary
上使用一些更积极的修剪。默认参数为prune_at=200000
。如果您有大量文档,则可能需要将阈值降低到较低的值。
另一件事是对已创建的字典应用filter_extremes
函数,以删除不太可能对结果产生影响的单词。在这里,您可以再次更积极地设置参数:
no_below
–保留至少包含在no_below
中的令牌 文档。
no_above
–保留包含在no_above
中的令牌 文档(总语料库大小的分数,而不是绝对数字)。
keep_n
–仅保留前keep_n
个最频繁的令牌。
最重要的是,您可能不时要一次调用garbage collector(例如,在运行make_nmf
函数之前):
import gc
gc.collect()
并且请确保不要并行运行make_nmf
和make_lda
(您可能没有这样做,但我想突出显示它,因为我们看不到您的完整代码)。
调整这些值可以帮助您减少所需的内存占用并维持最佳模型。
,您没有显示corpus
(或docs
/ texts
)的创建方式,但是Gensim要记住的最重要的一点是,整个训练集基本上从没有立刻进入内存(就像一个巨大的list
)。
相反,您可以(对于内存可能是问题的任何大型语料库,应该)将其提供为可重复的Python序列,仅读取单个项目从基础存储请求。使用Python generator 通常是这种方法的关键部分(但不是全部)。
Gensim软件包的原始创建者有一篇博客文章,内容涉及基础知识:“ Data streaming in Python: generators,iterators,iterables”
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。