data-cleansing

0열

2답변

주어진 단어와 일치하는 순열을 찾고 열 위치를 기반으로 데이터를 정렬하려고합니다. - IE는 내가 몇에서 폐기 데이터로 CSV를 생성 websites.Say 보인다 : Name1 OtherVars Name2 More Vars Stanford 23451 Mamford No MIT yes stanfor1d 12 BeachBoys pie

-3열

4답변

Windows 배치 파일을 사용한 데이터 정리를위한 Regex 패턴 및

CR/LF로 인해 때로는 제대로 포맷되지 않은 파일이 있습니다. R00023j Field1 Field2 .... CR/LF R00024n Field1 Field2 .... CR/LF R00025k Field1 Field2 .... CR/LF 하지만 언젠가 나는 CR/LF 하나 개의 필드에 삽입하고는이 같은 파일을 생성 : 좋은 파일은 다음과 같습니다

0열

3답변

파이썬 : 목록에 \ n을 \ r에 \의 t을 대체하는 시작 \ n \ n을 제외하고 \ n을의 \ r \ n \의 t으로

마이리스트 종료 : ['\n\r\n\tThis article is about sweet bananas. For the genus to which banana plants belong, see Musa (genus).\n\r\n\tFor starchier bananas used in cooking, see Cooking banana. For other use

-1열

1답변

R을 사용하여 데이터 프레임을 특정 값 범위의 열로 필터링하는 방법은 무엇입니까?

input<-read. csv("aggregate. csv") csv로 보이는 같은 : TimeStamp Latency Threads 7:00.06 AM 20 19 7:00.09 AM 28 18 7:00.15 AM 26 19 7:04:51 AM 45 20 7:05.07 AM 05 23 7:00.

1열

1답변

Pyspark에서 dropna로 데이터 정리

나는 아직도 Pyspark에 비교적 새로운 편입니다. 나는 버전 2.1.0을 사용한다. 훨씬 더 큰 데이터 세트에서 일부 데이터를 정리하려고합니다. "dropDuplicates"와 같은 일부 기술을 부분 집합 및 SQL 함수 (별개, 개수 등)와 함께 성공적으로 사용했습니다. 그런 다음 dropna를 보았습니다. 나는 그 문제를 단순화 할 수 있다고 생각했

0열

1답변

rdd 구별 대신 pyspark sql 함수

특정 열의 데이터 세트에서 문자열을 대체하려고 시도했습니다. 1 또는 0, 1이면 1, 그렇지 않으면 0입니다. 람다를 사용하여 데이터 프레임 대 rdd 변환을 사용하여 대상으로 지정할 열을 식별 할 수 있지만 처리하는 데 시간이 걸립니다. 각 열에 대해 rdd 로의 전환이 수행 된 후 구별이 수행됩니다. 고유 한 결과 세트에 'Y'가 있으면 변환이 필요한

-1열

1답변

일부 열을 참조로 사용하여 데이터 프레임에 누락 된 행 (0으로 채워짐)을 추가하려면 어떻게합니까?

이 (큰) 데이터 프레임이 있고 "날짜"라는 열과 관련하여 누락 된 행 (0으로 채워짐)을 추가하려고합니다. 예를 들어 : date 0 1 2 3 4 5 199807 0 546.98 19355.55 1110.6 4720.34 3435.9 199808 0 1668.85 4398.29 5816.71 599.7 535.28 19980

0열

1답변

Rapidminer - 누락 된 값을 텍스트로 바꿉니다.

누락 된 값을 텍스트 값으로 바꾸는 방법을 궁금해하는 Rapidminer ans에서 시작하십시오. 예를 들어 필드의 값은 "Y", "N"및 누락입니다. 나는 누락 된 값이 수 또는 "DNA"또는 무언가를 "대답하지 않았다"할. 나는 값 0 을 만드는 방법을 참조 나는 보충 값 슬롯에 텍스트 값을 허용하기 전에 손 속성 유형을 설정해야합니까?

0열

1답변

행을 dys 변환 한 후 Pyspark에서

아래의 데이터가 있는데 하나의 행 데이터 프레임을 RDD로 변환했습니다. PySpark 2.1.0을 사용하고 있습니다. [Row((1 - (count(YEAR_MTH)/count(1)))=0.0, (1 - (count(REPORTED_BY)/count(1)))=0.0, (1 - (count(FALLS_WITHIN)/count(1)))=0.0, (1 -

1열

1답변

풀링 된 winsorization 수행

917 개의 다른 회사로 구성된 패널 데이터 세트를 다루고 있으며 풀링 된 전체 샘플의 레벨에서 극한값을 설정하여 데이터를 winsorize하려고합니다. 어떻게해야합니까? 여기 는 샘플입니다 내 데이터 세트 내가 사용 시도 date Ret1 Ret2 Ret3 ... Ret917 1/11/2011 3.05 3.17 27.84 ... 3.42 2/11/