如何解决在大型数据集上运行R脚本时,如何防止计算机崩溃
- 目标:将图像从一个位置读取,压缩和写入到另一个位置。 图像数据集的大小约为5 TB。单个图像的平均大小约为2-5 Mb。
- 问题:运行时 整个数据集,我的Mac在大约1 GB后崩溃。脚本有效 用于约400张图像的子集。
通过逐个读取图像,我希望它不需要太多的内存和处理能力,但是我可能错过了一些东西。有人可以在下面查看我的代码并提供其崩溃原因的见解吗?任何提示和建议将不胜感激。抱歉,没有给出可复制的示例。
rm(list=ls())
## 1. LOAD PACKAGES
library(magick)
library(purrr)
library(furrr)
## 2. SET MAIN FOLDER
Directory_Folder <- "C:/Users/Nick/Downloads/"
Folder_Name <- "Photos for Nick"
## 3. SET NEW LOCATION
New_Directory <- "C:/Users/Daikoro/Desktop/" ## MAKE SURE TO INCLUDE THE FINAL FORWARD SLASH
## 4. LIST ALL FILES
list.of.files <- list.files(path = paste0(Directory_Folder,Folder_Name),full.names = TRUE,recursive = TRUE)
## 5. FUNCTION FOR READING,RESIZING,AND WRITING IMAGES
MyFun <- function(i) {
new.file.name <- gsub(Directory_Folder,New_Directory,i)
magick::image_read(i) %>% ## IMPORT PHOTOS INTO R
image_scale("400") %>% ## IMAGE RE-SCALING
image_write(path = new.file.name)
}
## 6. SET UP MULTI-CORES
future::plan(multiprocess)
## 7. RUN FUNCTION ON ALL FILES
future_map(list.of.files,MyFun) ## THIS WILL TAKE A WHILE...AND CRASHES AT 1GB
解决方法
借助Ben Bolker,r2evans和Waldi的反馈,我设法使脚本开始运行。我在gc()
的最后一行中添加了MyFun
。并且还指定了许多这样的核心:
## SET UP MULTI-CORES
no_cores <- availableCores() - 1
future::plan(multisession,workers = no_cores)
尽管这使脚本慢得多,但至少没有崩溃。我不确定这是因为我有更多可用的处理内核,还是因为gc()
行。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。