我正在对SQLite3数据库进行大批量插入,并且我试图了解我应该期待什么样的性能而不是我实际看到的.
我的表看起来像这样:
cursor.execute(
"CREATE TABLE tweets(
tweet_hash TEXT PRIMARY KEY ON CONFLICT REPLACE,
tweet_id INTEGER,
tweet_text TEXT)"
)
我的插入看起来像这样:
cursor.executemany("INSERT INTO tweets VALUES (?, ?, ?)", to_write)
其中to_write是元组列表.
目前,数据库中有大约1200万行,插入5万行需要大约16分钟,在2008年的macbook上运行.
这听起来合理,还是有些事情发生了?
解决方法:
据我所知,性能不佳的主要原因是浪费时间来提交许多SQLite事务.该怎么办?
然后删除索引
PRAGMA synchronous = OFF (or NORMAL)
插入N行的块(定义N,尝试N = 5000以启动).
在插入块之前
BEGIN TRANSACTION
插入后做
COMMIT
另见http://www.sqlite.org/faq.html#q19
原文地址:https://codeday.me/bug/20190517/1121839.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。