단어 수 Nonetype 오류가 나는 일부 텍스트 분석을 수행하려고

Question

을 pyspark-.

File "<stdin>", line 2, in cleaning_text AttributeError: 'NoneType' object has no attribute 'lower'

나는 단어 수를 수행하고 싶지만 집계 함수의 종류 나에게 오류를주고있다.

나는 다음과 같은 것들을 시도 :

sentence=sentence.encode("ascii", "ignore") 

추가

df.dropna() 

그 같은 문제가 계속주는 cleaning_text 기능이 문을, 나는이 문제를 해결하는 방법을 모르겠어요.

Answer 1

일부 열에는 null 값이있는 것으로 보입니다. cleaning_text 함수의 처음에 if를 추가하면 오류가 사라지고 오류가 사라집니다.

if sentence is None: 
    return "NA"