如何解决错误:使用Sparklyr中的copy_to时,C堆栈使用率133776899太接近限制
我正在尝试将data.frame
转换为Spark DataFrame
:
library(sparklyr)
conf <- list()
conf$`sparklyr.cores.local` <- 4
conf$`sparklyr.shell.driver-memory` <- "16G"
conf$spark.memory.fraction <- 0.9
sc <- spark_connect(master = "local",config = conf)
load("./data/dfm_training.RData")
load("./data/training.RData")
df <- training[,c(1,2,3,18)]
df$TextLength <- nchar(df$txt)
df <- df[df$TextLength > 0,]
df.tokens.df <- cbind(nchar = df$TextLength,label = df$training2_CFT,convert(dfm_training,to = "data.frame"))
## to spark
sdf <- copy_to(sc,df.tokens.df)
但是,出现以下错误:
Error: C stack usage 133776899 is too close to the limit
我尝试切换内核数和使用的内存数,但没有任何变化。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。