如何解决在Python中存储和加载大量链接对象
| 我有很多对象,它们通过保留对其他对象的引用来形成网络。所有对象(节点)都有一个dict,即它们的属性。 现在,我正在寻找一种快速的方法来存储这些对象(在文件中?)并在以后将它们全部重新加载到内存中(我不需要随机访问)。数据大约有300MB的内存,需要40秒钟才能从我的SQL格式加载,但是我现在想将其缓存以提高访问速度。 您会建议哪种方法? (尽管尝试与getstate混为一谈,但由于递归错误,我的泡菜尝试失败了:(也许反正还是快??)解决方法
泡菜是我的第一选择。但是由于您说它没有用,所以您可能想尝试搁置,甚至认为这不是搁置的主要目的。
确实,您应该为此使用Pickle。也许您可以发布一些代码,以便我们看一下并弄清楚为什么它不起作用
,\“ pickle模块跟踪已序列化的对象,因此以后对同一对象的引用将不再被序列化。\”因此可以。也许将递归限制增加为limit0ѭ。
使用Python的Pickle / cPickle达到最大递归深度
,也许您可以设置一些间接层,其中对象实际上位于其中,例如,另一个字典,并且引用另一个对象的对象将存储被引用对象的键,然后通过字典访问该对象。如果存储键的对象不在字典中,则会从您的SQL数据库中将其加载到字典中,并且当不再需要它时,可以从字典/内存中删除该对象(可能是并在删除内存中的版本之前更新数据库中的状态)。
这样,您不必一次从数据库中加载所有数据,并且可以将许多对象缓存在内存中,以便更快地访问这些对象。缺点是每次访问主字典都需要额外的开销。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。