如何解决计算熊猫列中的唯一单词
以下数据(来自pandas数据框)存在一些问题:
Text
0 Selected moments from Fifa game t...
1 What I learned is that I am ...
3 Bill Gates kept telling us it was comi...
5 scenario created a month before the...
... ...
1899 Events for May 19 – October 7 - October CTOvision.com
1900 Office of Event Services and Campus Center Ope...
1901 How the CARES Act May Affect Gift Planning in ...
1902 City of Rohnert Park: Home
1903 iHeartMedia,Inc.
我需要提取每行的唯一单词数(删除标点符号后)。因此,例如:
Unique
0 6
1 6
3 8
5 6
... ...
1899 8
1900 8
1901 9
1902 5
1903 2
我尝试如下进行操作:
df["Unique"]=df['Text'].str.lower()
df["Unique"]==Counter(word_tokenize('\n'.join( file["Unique"])))
但是我没有任何计数,只有一个单词列表(在该行中没有出现频率)。
你能告诉我出什么问题了吗?
解决方法
如果不需要计数,请先删除所有标点符号。杠杆套。 str.split.map(set)
将为您提供一套。之后计算集合中的元素。集合不包含多个唯一元素。
被束缚
df['Text'].str.replace(r'[^\w\s]+','').str.split().map(set).str.len()
逐步
df[Text]=df['Text'].str.replace(r'[^\w\s]+','')
df['New Text']=df.Text.str.split().map(set).str.len()
,
所以,我只是根据评论进行更新。此解决方案也考虑了标点符号。
df['Unique'] = df['Text'].apply(lambda x: x.translate(str.maketrans('','',string.punctuation)).strip()).str.split(' ').apply(len)
,
尝试
from collections import Counter
dict = {'A': {0:'John',1:'Bob'},'Desc': {0:'Bill,Gates Started Microsoft at 18 Bill',1:'Bill Gates,Again .Bill Gates and Larry Ellison'}}
df = pd.DataFrame(dict)
df['Desc']=df['Desc'].str.replace(r'[^\w\s]+','')
print(df.loc[:,"Desc"])
print(Counter(" ".join(df.loc[0:0,"Desc"]).split(" ")).items())
print(len(Counter(" ".join(df.loc[0:0,"Desc"]).split(" ")).items()))
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。