我在我们公司有一个旧项目,它使用
shell脚本很多.最流行的命令是:grep,sed,sort.现在还可以.但有一件事让我感到困扰.有时我们有来自其他公司的输入数据,这些数据采用类似csv的格式.这些输入文件由几个ID连接,就像它们只是某些DBMS的转储一样.
不是将数据导入某些DBMS,而是有一些shell脚本页面可以“切割”,“粘贴”和“连接”组合排序以模拟真实数据库.
最好的解决方案似乎是使用SQLite,但我担心的是它可以处理的数据大小和工作速度.似乎SQLite会使使用shell的这些功能变得更加困难,因为’sed’.
有人可以建议或描述你的成功故事吗?
解决方法
>大小:根据
docs,SQLite可以处理庞大的数据集,轻松进入Terabytes
>速度:有条件的索引查询和连接在O(logn)或O(nlogn)上,而不是从sed,cut,paste和join获得的O(n)或O(n ^ 2).
> sed:
>速度:有条件的索引查询和连接在O(logn)或O(nlogn)上,而不是从sed,cut,paste和join获得的O(n)或O(n ^ 2).
> sed:
>如果您使用它来简单地转换字段,那么在Python上执行单行或双行处理就好了.>如果你用它来转换表结构,那么这是一个完全不同的任务,要么通过ALTER TABLE解决,要么可能是一个巨大的处理项目.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。