具有重复值的 Sqlite 列

如何解决具有重复值的 Sqlite 列

假设 SQLite 数据库的 a 列非常重复，始终具有相同的 4 个值。其他值可能会在稍后出现，但不会有 1000 个不同的值。

VALUES = ["hello world","it's a shame to store this str many times","bye bye","abc"]

import sqlite3,random
db = sqlite3.connect('repetitive1.db')
db.execute("CREATE TABLE IF NOT EXISTS data(id INTEGER PRIMARY KEY,a TEXT);")
for i in range(1000 * 1000):
    db.execute("INSERT INTO data (a) VALUES (?)",(random.choice(VALUES),))
db.commit()

对于一百万个项目，这里的数据库大小为 24 MB，即平均 24 个字节。

多次重新存储所有字符串有点遗憾，因为它总是一次又一次地相同的值。当然，一个解决方案是使用 ID = 0,1,2,3（以后最多 1000 个）作为重复值，并且只存储整数 ID：

db = sqlite3.connect('repetitive2.db')
db.execute("CREATE TABLE IF NOT EXISTS data(id INTEGER PRIMARY KEY,a INT);")
for i in range(1000*1000):
    db.execute("INSERT INTO data (a) VALUES (?)",(random.randint(0,3),))
db.commit()

增益：数据库只有 9 MB，即平均每行 9 个字节，这要好得多。

但缺点是我们必须手动执行此操作：

• 维护另一个表，其中包含 ID 和字符串之间的对应关系，
• 检测何时出现新值（以前从未见过），为其提供新 ID 等。
• 如果行被删除并且最后一个字符串不再出现在任何地方，我们可能需要做一些清理并从第二个表中删除它的 ID
• 等

这是可能的，而且不是很困难，但多年来我注意到 SQLite 通常对类似的事情有巧妙的优化/好的技巧。

问题：有没有办法让 SQLite 自动完成所有工作？即设置一种模式，在该模式下，SQLite 将在内部尽最大努力对列中的数据进行重复数据删除，例如通过为此列使用 ID 而不是一次又一次地存储相同的字符串？ （无需自己维护任何东西？）

解决方法

问题与 Add data to many-to-many relation with one SQL command 非常相似，但它还讨论了更进一步的方面 - 自动清理未使用的实体。

有没有办法让 SQLite 自动做所有事情？ ...（无需自己维护任何东西）

没有。您基本上希望在基表和引用表中插入行（如果尚不存在），同时按值指定引用而不是其 surrogate key。事实上，这在其他 RDBMS 中也不是一项简单的任务。其中一些支持：

• 存储过程
• Multitable inserts
• OUTPUT clause
• RETURNING clause
• 可写（可更新）视图
• INSTEAD OF 在视图上触发

从上面的列表中，SQLite 只支持 INSTEAD OF 触发器。以下是它如何适用于您的用例（我采用了问题下评论中提到的 dbfiddle 中的表 words，并将其列 a 重命名为 value）：

PRAGMA foreign_keys = ON;

CREATE TABLE words(
  id INTEGER PRIMARY KEY,value TEXT
);

CREATE UNIQUE INDEX unique_words_value ON words(value);

CREATE TABLE data(
  id INTEGER PRIMARY KEY,word_id INTEGER NOT NULL,FOREIGN KEY (word_id) REFERENCES words(id)
);

CREATE VIEW data_view AS
SELECT d.id,w.value FROM data AS d INNER JOIN words AS w on w.id = d.word_id;

CREATE TRIGGER data_view_insert INSTEAD OF INSERT ON data_view
BEGIN
  INSERT OR IGNORE INTO words(value) VALUES (NEW.value);
  INSERT OR IGNORE INTO data(word_id) VALUES(
    (SELECT id FROM words WHERE value = NEW.value)
  );
END;

INSERT INTO data_view (value) VALUES
  ('random1'),('random2'),('random3'),('random1'),('random4');

INSERT 语句产生了表 words 的内容：

id	价值
1	随机1
2	random2
3	random3
4	random4

和data_view：

id	价值
1	随机1
2	random2
3	random3
4	随机1
5	random3
6	random4

要支持从 data 中删除行并自动清理 words 中未使用的值，您可以在 INSTEAD OF DELETE 上添加 data_view 触发器：

CREATE TRIGGER data_view_delete INSTEAD OF DELETE ON data_view
BEGIN
  DELETE FROM data
    WHERE id = OLD.id;
  DELETE FROM words
    WHERE value = OLD.value AND NOT EXISTS(SELECT 1 FROM data_view WHERE value = OLD.value);
END;

它的第一个语句删除表 data 中的一行，第二个语句从 words 中删除引用的值，如果它没有被表 data 中的其他行引用。与 INSERT 类似，您可以通过 data 间接删除表 data_view 中的行：

-- delete one 'random2' and 'random4' value data
DELETE FROM data_view WHERE id IN (2,4);

结果是 words：

id	价值
1	随机1
3	random3
4	random4

如您所见，'random2' 值已被删除，因为它在 data 中仅被引用一次，而 'random4' 值被保留，因为表 {{1} 中还有另一个引用}} (data)：

id	价值
1	随机1
3	random3
5	random3
6	random4

这里有 db<>fiddle 可以玩。

,

完全归功于@PeterWolf 的出色回答，这里是一个稍微修改的版本和准备运行的代码：

import sqlite3,random
VALUES = ["hello world","it's a shame to store this str many times","bye bye","abc"]
db = sqlite3.connect('repetitive3.db')
db.executescript("""CREATE TABLE words(id INTEGER PRIMARY KEY,value TEXT UNIQUE);
CREATE TABLE data(id INTEGER PRIMARY KEY,word_id INTEGER NOT NULL);
CREATE VIEW data_view AS SELECT d.id,w.value FROM data AS d INNER JOIN words AS w on w.id = d.word_id;
CREATE TRIGGER data_view_insert INSTEAD OF INSERT ON data_view
BEGIN
  INSERT OR IGNORE INTO words(value) VALUES(NEW.value);
  INSERT OR IGNORE INTO data(word_id) VALUES((SELECT id FROM words WHERE value = NEW.value));
END;""")
for i in range(1000*1000):
    db.execute("INSERT INTO data_view (value) VALUES (?)",(random.choice(VALUES),))
print(list(db.execute("SELECT * FROM words")))
print(list(db.execute("SELECT * FROM data WHERE id BETWEEN 100 AND 105")))
print(list(db.execute("SELECT * FROM data_view WHERE id BETWEEN 100 AND 105")))

小的修改（结果是一样的：只有 9 MB 的数据库大小）

• 这里没有表 words 的索引，只有 UNIQUE 的 value 关键字，确保 INSERT OR IGNORE INTO 落入 IGNORE如果该值已经存在

• 未使用外键

---

同样的想法，但没有视图：

db.execute('CREATE TABLE words(value TEXT UNIQUE);')
db.execute('CREATE TABLE data(id INTEGER PRIMARY KEY,word_id INTEGER NOT NULL);')
for i in range(1000*1000):
    v = random.choice(VALUES)
    db.execute("INSERT OR IGNORE INTO words(value) VALUES(?);",(v,))
    db.execute("INSERT INTO data(word_id) VALUES ((SELECT rowid FROM words WHERE value = ?));",))
searched_word = 'hello world'
print(list(db.execute("SELECT id,word_id FROM data WHERE id BETWEEN 100 AND 120 AND word_id = (SELECT rowid FROM words WHERE value = ?)",(searched_word,))))