代码之家 › 专栏 › 技术社区 › mr.bjerre

展开R中数据表中组内的最后观察值

data-manipulation time-series data.table r

mr.bjerre · 技术社区 · 6 年前

想象一个 data.table 在里面 R 像这样

dtable = data.table(
  id = c(1, 1, 1, 2, 2, 2),
  time = c(1, 2, 3, 2, 3, 4),
  value_a = c(NA, 'Yes', NA, 'No', NA, 'Yes'),
  value_b = c('No', 'Yes', NA, NA, NA, NA)
)
cols <- c("value_a", "value_b")

其计算结果为

   id time value_a value_b
1:  1    1    <NA>      No
2:  1    2     Yes     Yes
3:  1    3    <NA>    <NA>
4:  2    2      No    <NA>
5:  2    3    <NA>    <NA>
6:  2    4     Yes    <NA>

对于每个 id 和 time 我希望扩展最新观察到的( <NA> 对应于无观察)值。一、 e.我正在寻找一种有效的方法来创建结果表:

   id time value_a value_b
1:  1    1    <NA>      No
2:  1    2     Yes     Yes
3:  1    3     Yes     Yes
4:  2    2      No    <NA>
5:  2    3      No    <NA>
6:  2    4     Yes    <NA>

我的数据集非常大,所以效率这很重要。

2 回复 | 直到 6 年前

YOLO 6 年前

这应该更快。
使用 na.locf (正向填充NA)来自 zoo 软件包,您可以执行以下操作:

dtable[, c('value_a','value_b') := lapply(.SD, na.locf, na.rm=F), .SDcols = c('value_a','value_b'), .(id)]

print(dtable)

   id time value_a value_b
1:  1    1      NA      No
2:  1    2     Yes     Yes
3:  1    3     Yes     Yes
4:  2    2      No      NA
5:  2    3      No      NA
6:  2    4     Yes      NA

mr.bjerre 6 年前

受@chinsoon12的启发,我想出了以下解决方案

cols <- c("value_a", "value_b")
dtable[, (cols) := lapply(.SD, function(x) {
  if (.N > 1) {
    na_idx = which(is.na(x))
    value_idx = which(!is.na(x))

    # determine if there are any non NA values
    if (length(value_idx) > 0){

      # update all NAs observed after an actual observed observation
      if (length(na_idx[na_idx > min(value_idx)]) > 0)
        na_idx[na_idx > min(value_idx)] <- sapply(na_idx[na_idx > min(value_idx)], function(i) max(value_idx[value_idx < i]))

      # build new index array to use for return
      replace_with_idx <- c(na_idx, value_idx)
      return(x[replace_with_idx[order(replace_with_idx)]])
    } else {
      NA  # if all NA
    }
  }
  x  # if only one observed value
}), 
by=id, .SDcols=cols]

推荐文章

Marco_CH · 根据动态相关的两个条件进行筛选

2 年前

Shubham · 如何在R中查找数据表的两个多类别列之间的差异/setdiff()

2 年前

mt1022 · 分组数据时的不同结果。以不同方式使用数字索引的表列

6 年前

shy zhan · 如何改变数据。有很多列的表?

6 年前

Brent Pease · 查找条件语句的最小值,其中条件也适用于之后的所有值

6 年前

Serhii · 标记数据中按组随机选择的N行。桌子

6 年前

T.Beil · 在数据表中选取均匀分布的样本

6 年前

89_Simple · 为每个组运行函数

6 年前

IceCreamToucan · 选择要保留/放入数据的组。桌子

6 年前

Valeria Lobos Ossandón · 使用R查找数据帧中其他数据帧的元素位置

6 年前