Pyspark2가 교체 되나요? 데이터 있음

Question

물음표가 있습니까? " 내 데이터에. "이름"이라고하는 내 칼럼에서. 이 물음표는 "?" 내 데이터에서 null 값으로 작동합니다. 어떻게 대체합니까? NaN과. pyspark2를 사용

, 나는

from pyspark.sql.functions import regexp_replace, col 

data = data.select(regexp_replace(col("Name"), "?", "NaN")) 

아마도 사용자 정의 함수를 사용하여 다른 방법이 시도?

Answer 1

문자 '?' 정규식에서 특별한 의미가 있습니다. 이스케이프 문자열을 사용하십시오. 도움이 되었기를 바랍니다.

data = data.select(regexp_replace(col("Name"), "\?", "NaN"))