如何解决为财务数据构建数据库
我有很多股票价格数据保存在我已经收集了一段时间的CSV文件中,并打算继续收集,但是现在保存到数据库而不是CSV中。 有73个文件(每个资产一个文件),每个文件约有200万行。所有数据的格式都相同:
date,timestamp,open,high,low,close,volume
我想为每个CSV文件创建一个单独的表,因为:
- 对于我的用途,我一次不会需要多个资产。
- 我知道1.4亿行对于RDBMS来说并不是沉重的负担,但我认为搜索2M记录的表而不是140M记录将有更好的表现。
- 按资产分隔,我可以创建一列具有唯一性约束(例如日期或时间戳记)的列,并防止重复记录。
这些观点中是否有错误的假设或错误的做法?是否有充分的理由将它们全部保存在一个表中?
我已经读过这个question,尽管类似的问题也不认为答案适用于我的情况。
如果不清楚,我在DB方面没有太多经验,因此对指导和教育性回答表示高度赞赏。
解决方法
我将它们存储在一个表中只是因为我不必维护73个表。 如果您每天,每周或什至每月更新数据,则必须将73个csv文件中的73个表插入其中,或者为此目的维护一个自动化脚本,对此我觉得有点过分了。
- 对于我的用途,我一次不会需要多个资产。 ->我不明白。
- 按资产分隔我可以创建一列具有唯一性约束(例如日期或时间戳记)的列,并防止重复记录。 ->如果将它们存储在单个表中,则可以添加一列asset_id,该列将标识哪个资产和日期,时间戳就是其数据。
- 我知道1.4亿行对于RDBMS来说并不是沉重的负担,但我认为搜索2M记录的表而不是140M记录将具有更好的性能。 ->您可以按日期和asset_id对表进行分区,但这是更广泛的讨论,其中包含您将提供的详细信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。