일부 데이터를 특정 배포판 다음에 임의로 생성 된 숫자로 바꿉니다.

Question

사람들의 나이를 묘사하는 더러운 데이터가 있습니다. 간격은 I 아래 그래프는 데이터를 표시

df_members['bd'] = df_members.bd.apply(lambda x: -99999 if float(x)<=1 else x) 
df_members['bd'] = df_members.bd.apply(lambda x: -99999 if float(x)>=100 else x) 

하여 값을 변경해야 -7000에서 2015이다.

I는 -99999

방법 I 번째 그림과 같이 분포에 영향을주지 않고 -99999의 값을 대체 할 수있는 값을 제외하여 그래프를 플롯? 나이는 15-50 세이며, 평균은 약 29 세이며 생년월일의 중앙값 = 28.0입니다. 나는 15-50 사이의 임의의 숫자를 생성하려고 계획하고 있지만 원래 배포판을 파괴 할까 걱정입니다.

Answer 1

https://stats.stackexchange.com/questions/78063/replacing-outliers-with-mean

이 일반적으로 수행되지 않는 이유에 빠른 뇌관. 관계없이 :

샘플 평균 및 표준 편차를 기준으로 numpy.random.normal 값으로 새 값을 생성하고 우리가 선택한 값을 초과하는 값을 새로운 "임의의 정상"샘플로 바꿉니다.

df_members['bd'] = df_members.bd.apply(lambda x: np.rint((np.random.normal(bd_mean, bd_sd))) if x==-999999 else x) 

"x == - 99999"를 바꾸려면 교체 할 물건을 찾는 데 필요한 로직을 수정하십시오.

그래서, bd_mean 및 bd_sd는 인라인 계산 될 수있다

df_members['bd'] = df_members.bd.apply(lambda x: np.rint((np.random.normal(df_members.bd.mean(),df_members.bd.std())) if x>9999999 else x)) 

당신이 그에게 비 정규 분포를 경험하는 경우에 다양한 샘플 종류가 있습니다! 여기에서보세요 : https://docs.scipy.org/doc/numpy-1.13.0/reference/routines.random.html

편집 해 주셔서 감사합니다!