SQlite3优化：将外部文件名存储在db中？还是只有大量的行？

如何解决SQlite3优化：将外部文件名存储在db中？还是只有大量的行？

| 我是没有计算机科学背景的新手。所以请原谅我可能会说的愚蠢的话。我正在进行一个太阳能监控项目，以监控我公司安装的太阳能系统的功率输出。我正在编写一个客户端，每15分钟查询一次逆变器（以获取功率输出，电压输出，电流输出，系统错误/故障等-构成一个“读数”）每15分钟一次因为他们拥有自己的系统-这意味着每位客户每年约有3.5万次读数。因此，我正在考虑通过以下两种方式之一来组织我的sqlite3数据库。 （1）使数据库为两个表，一个表包含常规客户信息（名称，电子邮件等），另一个表更大，其中每行代表一个读数，并包括客户ID和读数的时间戳作为标识符。这意味着每位客户每年将向该更大的表中添加大约35,000行。 （超过两年的数据将被缩减并存档。） 要么 （2）将所有读数存储在一个csv文件中（每个客户一个csv文件），并将csv文件名和常规客户信息存储在我的表格中 该数据库将服务于一个网站（如果对选项有任何影响，则建在导轨上），客户可以在该网站上查看其功率输出数据。我想最小化在登录时加载其输出数据所需的时间。我基本上不知道我的计算机打开和从文本文件中读取行与打开文件，从中查找（基于客户ID）并从海量数据中读取数据所花费的时间有关sqlite3表-因此很难知道如何在上述两个选项之间进行判断。我也很难衡量sqlite3的极限，尽管已经阅读了一些有关它的信息，但sqlite3仍在最佳状态运行（我认为我没有背景来理解我所做的阅读，因为它似乎说有一亿行在当我阅读其他人的评论似乎恰恰相反时，就很好。）我也愿意接受完全不同的选择，因为我现在还没有结婚。一切使加载速度更快。非常感谢！     

解决方法

如果您要在sqlite上进行任何类型的重复数据挖掘，那么将解析后的数据存储在sqlite中肯定是一个节省时间的事情。 CSV解析开销几乎会立即吞噬您将获得的任何数据库空间/时间节省。 至于效率，您必须对其进行测试。没有一条硬性规定说“使用此数据库”或“使用该数据库”。总是“根据情况而定”。在这种情况下，SQLite对您而言可能是完美的选择，但对工作量稍有不同的其他人来说却毫无用处。     ,通常，只要对要查询的列建立索引，SQL应用程序就可以很好地处理大型数据集。您应该将它们保留在同一数据库中。从数据库中获取数据比解析CSV文件要少得多。创建数据库的目的是存储和检索数据，而不创建CSV文件。 我使用的MySQL数据库每张表有几千万行，查询返回的结果不到一秒钟。 SQLite可能更快。 只要确保为要搜索的内容创建索引即可。     ,我将执行选项1，但使用诸如PostgreSQL的数据库服务器代替SQLite。 SQLite将在更新时锁定表，因此如果您对表进行大量读写操作，则可能会遇到锁定问题。 SQLite更适合于台式机或智能手机中的单用户应用程序。 您可以轻松拥有数百万行，而不会引起任何问题。