如何解决使用mongoimport导入Date数据类型
| 我有许多GB的数据存储在PostgreSQL数据库中,我需要将这些数据导入到MongoDB中。我使用CSV导出和mongoimport进行了此操作。 在CSV中有像\'2011-06-25 \'这样的列,它已作为字符串而不是作为MongoDate导入,因此我无法按日期有效地搜索。 我发现了这一点:http://www.mongodb.org/display/DOCS/Import+Export+Tools#ImportExportTools-Example%3AImportingInterestingTypes 但该示例说,我需要对该文件使用JSON结构。我真的需要从PostgreSQL导出JSON文件吗? 如果我这样做-怎么办? 如果我不这样做,如何通过CSV导出“ MongoDate”?解决方法
您的选择:
以CSV格式导入内容,并在导入后将数据转换为Date()(使用mongo控制台或使用您喜欢的语言编写的脚本)
将数据导入为JSON并使用$ date描述符将日期字符串转换为Date实例
, 实际上,即使有大量数据,第一种选择也相当快。这是使用mongo控制台进行查询的示例:
/usr/bin/mongo yourdbname --eval \"db.yourcollectionname.find().forEach(function(doc){doc.yourdatefield = new ISODate(doc.yourdatefield);db.yourcollectionname.save(doc)});\"
, 使用您喜欢的语言编写脚本以导入数据。它将允许您控制数据类型并将结构更改也应用于数据。
通常,从表格数据转换为文档数据库时,您会发现数据的映射是不同的。
如果编写脚本,则可能还需要支持运行多个副本(或线程)以提高导入速度。
, 如果可能,从源CSV重新导入应该更快。对于相对较大的数据集(1.3亿个对象,源CSV〜6GB),运行mongoimport
需要40分钟,而@webDEVILopers建议的forEach
需要24h +(此时我将其取消了)。
要从CSV导入并转换您的日期,我运行了
mongoimport --db your-db-name --type csv --file your-file.csv --collection your-collection --fields timestamp.date\\(2006-01-02\\ 15:04:0
5.00000+00\\),count.int32\\(\\),--columnsHaveType
“ 4”部分比较棘手,您必须以源格式指定该特定日期。所以我的时间戳就像\“ 2018-02-03 12:09:23.00000 + 00 \”,这意味着用该格式格式化参考日期(2006年1月2日15:04:05)(如上述命令所示)。请参阅此作为参考。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。