我在R中有一个大数据框,我想基于现有列创建一些新列.但是,对于每一行,新值还取决于其他一些行.
这是一些虚拟数据
colnames <- c('date','docnr','clientid','values')
docnr <- c(1,2,3,4,5,6)
dates <- c('2017-01-01','2017-02-01','2017-03-01','2017-04-01','2017-01-05','2017-02-05')
clients <- c(1,1,2)
values <- c(10,14,7,9,19)
df <- data.frame(cbind(dates,docnr,clients,values))
names(df) <- colnames
df$date <- as.Date(df$date,format = "%Y-%m-%d")
df
date docnr clientid values
1 2017-01-01 1 1 10
2 2017-02-01 2 1 14
3 2017-03-01 3 1 4
4 2017-04-01 4 1 7
5 2017-01-05 5 2 9
6 2017-02-05 6 2 19
我想要做的是,每一行(由docnr唯一标识)获取日期和客户端ID,并找到具有相同clientid和更早日期的所有其他行.
然后,我想从这个子集中计算一些东西.例如,我想要该子集中的总行数以及该子集的所有值的总和.
所以对于这个示例数据,我希望：
date docnr clientid values counts totals 1 2017-01-01 1 1 10 0 0 2 2017-02-01 2 1 14 1 10 3 2017-03-01 3 1 4 2 24 4 2017-04-01 4 1 7 3 28 5 2017-01-05 5 2 9 0 0 6 2017-02-05 6 2 19 1 9
目前,我使用for循环：
counts <- numeric(0)
totals <- numeric(0)
for (i in 1:nrow(df)) {
tmp <- df[df$date< df$date[i] & df$clientid== df$clientid[i],c( "date","docnr","value")]
cnt <- nrow(tmp)
tot <- sum(tmp$value)
counts[i] <- res
totals[i] <- tot
}
df$counts <- counts
df$totals <- totals
对于700k行的数据帧(尚未完成运行),这个循环显然非常慢.使用doSNOW的并行实现似乎没有更好的扩展.
我尝试过使用sqldf的sql查询,但子查询一次只能返回1个值,这意味着我想要定义的每个新列都运行查询(我想稍后再添加更多的派生列) .
我遇到了一个带有SQL对象的解决方案(Is it possible to get multiple values from a subquery?),但是对象在R的sqldf中不起作用.使用联接不起作用,因为第二个查询需要包含来自第一个查询的信息.
我刚开始使用R(并且我对sql也不是很熟悉),所以如果有人知道更有效的方法,我会非常感激.
解决方法
这里有两行基本R代码,使用ave进行分组.
# get counts df$counts <- ave(df$docnr,df$clientid,FUN=seq_along) - 1L # get lagged cumulative sum df$totals <- ave(df$values,FUN=function(x) c(0,head(cumsum(x),-1)))
这回来了
df
date docnr clientid values counts totals
1 2017-01-01 1 1 10 0 0
2 2017-02-01 2 1 14 1 10
3 2017-03-01 3 1 4 2 24
4 2017-04-01 4 1 7 3 28
5 2017-01-05 5 2 9 0 0
6 2017-02-05 6 2 19 1 9
我怀疑上面的代码会对你描述的数据执行得足够快.但是,data.table是一个推荐的包,用于处理可能有数十亿行的数据.与data.table中的上述代码类似
library(data.table)
setDT(df)[,c("counts","totals") := .(seq_len(.N) - 1L,shift(cumsum(values),fill=0)),by=clientid]
其中seq_len(.N)填充seq_along的角色,shift在前面的代码中填充c(0,– 1))的角色.
这将返回一个data.table,其值与上面相同.
df
date docnr clientid values counts totals
1: 2017-01-01 1 1 10 0 0
2: 2017-02-01 2 1 14 1 10
3: 2017-03-01 3 1 4 2 24
4: 2017-04-01 4 1 7 3 28
5: 2017-01-05 5 2 9 0 0
6: 2017-02-05 6 2 19 1 9
数据
df <-
structure(list(date = structure(c(17167,17198,17226,17257,17171,17202),class = "Date"),docnr = c(1,6),clientid = c(1,2),values = c(10,19)),.Names = c("date","clientid","values"
),row.names = c(NA,-6L),class = "data.frame")
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。