如何解决搜索值是否以pandas paquet格式的列唯一的最佳方法是什么?
我有一张桌子放在我用pandas对象中
pd.read_parquet(filename)
我在数据集中有3列感兴趣的列,其中2列是数据,一列是ID。我必须在整个集合中搜索值,但要丢弃重复的ID。
将这些ID放入数据结构或首先清除重复数据的最快方法是什么?我当时在想一本字典,但是也许已经有一种方法可以更快地使用熊猫或使用某些现金了。
谢谢!
解决方法
尝试
pd.read_parquet(filename).drop_duplicates(['ID'])
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。