허용 오차 (매우 빠르지 만 작업 공간 절약)가있는 두 개의 매우 큰 벡터를 일치 시키십시오.

Question

두 벡터가 있다고 가정합니다. 하나는 관심있는 모든 값과 가능한 모든 값을 포함 할 수있는 하나의 샘플 벡터를 포함하는 참조 벡터/목록입니다. 지금은 벡터 내부의 비교 값의 특정 고정되지 관용과 depentent의 참조 목록 안에 내 샘플의 일치를 찾으려면 :

matches: abs(((referencelist - sample[i])/sample[i])*10^6)) < 0.5 

두 벡터를 반올림있는 옵션입니다! 예를 들어

고려 :

referencelist <- read.table(header=TRUE, text="value name 
154.00312 A 
154.07685 B 
154.21452 C 
154.49545 D 
156.77310 E 
156.83991 F 
159.02992 G 
159.65553 H 
159.93843 I") 

sample <- c(154.00315, 159.02991, 154.07688, 156.77312) 

그래서 난 결과를 얻을 :

name value  reference 
1 A 154.00315 154.00312 
2 G 159.02991 159.02992 
3 B 154.07688 154.07685 
4 E 156.77312 156.77310 

나는 예를 들어, 사용 할 수있는 일

myDist <- outer(referencelist, sample, FUN=function(x, y) abs(((x - y)/y)*10^6)) 
matches <- which(myDist < 0.5, arr.ind=TRUE) 
data.frame(name = referencelist$name[matches[, 1]], value=sample[matches[, 2]]) 

과 같은 외부 함수 또는 for() 루프를 사용할 수 있습니다.

하지만 내 특별한 문제는 약 1 * 10^12 엔트리의 참조 벡터와 1 * 10^7 주위의 샘플 벡터입니다. 그래서 outer()를 사용하여 모든 작업 공간 제한을 쉽게 파기하고 for() 또는 연결 for() 루프를 사용하여이 작업을 완료하는 데 일/주가 소요될 것입니다.

누구나 R에서이 작업을 빠르게 수행하는 방법에 대한 아이디어가 있지만 여전히 정확하지만 최대 컴퓨터를 사용하고 있습니다. 64 GB RAM?

도움 주셔서 감사합니다.

최저 whishes data.table를 사용

Answer 1

귀하의 일치 ​​조건은

abs(((referencelist - sample[i])/sample[i])*10^6)) < 0.5 

은 eps = 0.5E-6와

sample[i] * (1 - eps) < referencelist < sample[i] * (1 + eps) 

로 다시 쓸 수 있습니다. 이 사용

는

, 우리는 모든 일치 (뿐만 아니라 가까운을 찾기 위해이 비 조인을 사용할 수 있습니다!) 각 sample에 대한 referencelist에서 : 예상 결과를 재현

library(data.table) 
options(digits = 10) 
eps <- 0.5E-6 # tol * 1E6 
setDT(referencelist)[.(value = sample, 
         lower = sample * (1 - eps), 
         upper = sample * (1 + eps)), 
        on = .(ref > lower, ref < upper), .(name, value, reference = x.ref)] 

:

OP's comment에 대응

name  value reference 
1: A 154.00315 154.00312 
2: G 159.02991 159.02992 
3: B 154.07688 154.07685 
4: E 156.77312 156.77310 

, 다음이 될 것입니다 우리가 F = 154.00320와 referencelist2을 수정 한의 말을하자 잡히다 :

setDT(referencelist2)[.(value = sample, 
         lower = sample * (1 - eps), 
         upper = sample * (1 + eps)), 
        on = .(ref > lower, ref < upper), .(name, value, reference = x.ref)] 

name  value reference 
1: A 154.00315 154.00312 
2: F 154.00315 154.00320 
3: G 159.02991 159.02992 
4: B 154.07688 154.07685 
5: E 156.77312 156.77310 

Answer 2

(그리고 @ EDDI의 binary search (또한 양분에서, CF @ 존 콜먼의 코멘트) - 붙여 넣기를 복사) :

library(data.table) 

dt <- as.data.table(referencelist) 
setattr(dt, "sorted", "value") 

tol <- 0.5 
dt2 <- dt[J(sample), .(.I, ref = value, name), roll = "nearest", by = .EACHI] 
dt2[, diff := abs(ref - value)/value * 1e6] 
dt2[diff <= tol] 

#  value I  ref name  diff 
# 1: 154.0032 1 154.0031 A 0.19480121 
# 2: 159.0299 7 159.0299 G 0.06288125 
# 3: 154.0769 2 154.0769 B 0.19470799 
# 4: 156.7731 5 156.7731 E 0.12757289 

I 메모리 사용이나 실행을 벤치마킹하지 않은 하지만 data.table은 두 가지 모두에 매우 뛰어나다는 평판을 얻고 있습니다. 그것이 당신을 위해 작동하지 않는다면, 그렇게 말하면 아마도 벤치마킹을 시도 할 것입니다.

참고 : data.table을 사용하는 것은 매우 순진합니다.

https://stackoverflow.com/a/29552922/6197649 바로 아래에 findInterval을 사용하는 해결책이 있지만 성능이 좋지 않을 것으로 예상됩니다 (다시 : 벤치 마크가 필요할 것입니다).