如何解决阅读R
我想将.sav文件读入R。但是,它太大(> 11GB)。如果我只能读取部分数据,那虽然不理想,但应该可以。因此,是否可以执行以下任一操作:
- 仅读取标题(用于列名)
- 仅导入某些列(而不是整个数据集)-我尝试了
haven
中的函数,但似乎无法使col_select
参数起作用。 - 读取整个数据集-我知道用于.csv文件的工具,但不知道用于.sav文件的工具。
感谢您的帮助!
解决方法
就将整个数据集放入R而言,我认为您无法通过块或任何类似的变通办法读取它,并且对 entire 数据集而言,它的内存效率更高。但是,有一些简单的方法可以获取列名和/或特定的变量,从而提高内存效率:
获取列名可以使用n_max
参数读取空的数据框(带有变量和值标签):
# using n_max = 0 is much more memory efficient
bench::mark(read_sav(temp)[0,],read_sav(temp,n_max = 0))[1:9]
# A tibble: 2 x 9
expression min median `itr/sec` mem_alloc `gc/sec` n_itr n_gc total_time
<bch:expr> <bch:tm> <bch:tm> <dbl> <bch:byt> <dbl> <int> <dbl> <bch:tm>
1 read_sav(temp)[0,] 1.11s 1.11s 0.902 76.5MB 6.31 1 7 1.11s
2 read_sav(temp,n_max = 0) 5.86ms 6.13ms 154. 97.2KB 1.98 78 1 505.6ms
获取特定列可以使用选择帮助器(或索引或名称等)完成,并且可以提高内存效率:
bench::mark(read_sav(temp)[c("V1","V5")],col_select = matches("V(1|5)$")))[1:9]
# A tibble: 2 x 9
expression min median `itr/sec` mem_alloc `gc/sec` n_itr n_gc total_time
<bch:expr> <bch:tm> <bch:tm> <dbl> <bch:byt> <dbl> <int> <dbl> <bch:tm>
1 read_sav(temp)[c("V1","V5")] 1.06s 1.06s 0.939 76.5MB 5.64 1 6 1.06s
2 read_sav(temp,col_select = matches("V(1|5)$")) 186.45ms 187.89ms 5.32 528.7KB 0 3 0 563.5ms
数据设置:
test <- as.data.frame(matrix(1:1e7,nrow = 1e4,ncol = 1e3))
temp <- tempfile()
write_sav(test,temp)
# file.remove(temp)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。