如何解决在python中快速提供大型json文件
我有一个大约5 GB的多json文件,在该文件上进行了一些探索性数据分析。问题是,每次使用此代码时,每次加载文件大约需要1分钟的时间:
with open(json_fn,'r') as f: # multiple jsons in one file! (one per line)
for line in f:
data = json.loads(line)
是否有更有效的方法来存储这些数据以将其加载到python中?我在考虑泡菜(因为它通常是一种更快的二进制格式),但是it seems to be even slower。我有什么建议可以避免每次等待一分钟?
解决方法
您可以为此使用ijson
。 ijson允许以流的形式懒惰地读取文件。
import ijson
json_data = ijson.parse(open(FILE_PATH,'r'))
for prefix,event,value in json_data:
print(value)
引用this。
注意:在post中提到的后端的帮助下,您可以大大降低性能。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。