pd.DataFrame

如何解决pd.DataFrame

我有一个带有2列和500万行的DF，所有文字（商家的客户评论）。 df.head()产生：

df.info()显示内存使用量只有120.3+ MB

我正在尝试使用gensim库对df['text']进行主题建模。我尝试先创建一个文档术语矩阵（dtm），然后执行如下的潜在Dirichlet分配（LDA）：

from sklearn.feature_extraction.text import CountVectorizer
from nltk.corpus import stopwords
from gensim import matutils,models
import scipy.sparse

cv = CountVectorizer(stop_words='english')
data_cv = cv.fit_transform(df.text)
data_dtm = pd.DataFrame(data_cv.toarray(),columns=cv.get_feature_names()) #LINE THROWING MemoryError

data_dtm.index = df.index

tdm = data_dtm.transpose()

sparse_counts = scipy.sparse.csr_matrix(tdm)
corpus = matutils.Sparse2Corpus(sparse_counts)

id2word = dict((v,k) for k,v in cv.vocabulary_.items())
lda = models.LdaModel(corpus=corpus,id2word=id2word,num_topics=2,passes=10)
lda.print_topics()

问题：但是第7行（pd.DataFrame（））抛出MemoryError，而我仍然有60％的机器可用内存。即使我对df的前100,000行重复该操作，也会得到相同的MemoryError。

由于这是主题建模，所以我宁愿一起分析所有行，或者至少分批分析它们。

问题是什么导致将data_cv转换为数据帧时Python耗尽内存？我该如何克服？

解决方法

通过将有效的稀疏表示转换为完整/密集数组，很有可能data_cv.toarray()对内存扩展最负责。

尝试在单独的前一行上的该步骤中将其放入临时变量中进行检查。

但是，如果您的最终目标是进行Gensim LDA分析，则这些步骤将标记化文本作为输入可以很好地工作，因此其他操作（涉及CountVectorizer并在Pandas数据结构中存储临时结果或巨型术语文档数组）可能是多余的。

例如（忽略任何停用词过滤）：

from gensim.corpora.dictionary import Dictionary
from gensim.models import LdaModel

tokenized_texts = [text_string.split() for text_string in df.text]
texts_dictionary = Dictionary(tokenized_texts)
texts_bows = [texts_dictionary.doc2bow(text_tokens) for text_tokens in tokenized_texts]

lda = LdaModel(corpus=texts_bows,id2word=texts_dictionary,num_topics=2)

这仍会在内存中创建df.text列的两个巨型副本，一个tokenized_texts的列表和一个texts_bows的列表，因此它使用更多的内存比最优。 （对于大型语料库，最佳做法是将它们保留在磁盘上，并将它们逐项流式传输到处理步骤中。）

但是，它使用的步骤可能比密集的.toarray()步骤要少，甚至永远不会创建非严格必要的CountVectorizer或临时数组和DataFrame对象。