'어디에서 아파치 스파크에서

df: 

-----------+ 
|  word| 
+-----------+ 
|  1609| 
|   | 
|  the| 
| sonnets| 
|   | 
|   by| 
| william| 
|shakespeare| 
|   | 
|   fg|

이것은 내 데이터 프레임입니다. 'where'절을 사용하여 빈 행을 제거하는 방법 (''이 들어있는 행을 제거하는 방법).'어디에서 아파치 스파크에서

code: 

df.where(trim(df.word) == "").show() 

output: 

----+ 
|word| 
+----+ 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| |

도움을 주시면 감사하겠습니다.

당신은 트림과 결과가 비어있는 경우 확인할 수 있습니다 시간에 대한

>>> from pyspark.sql.functions import trim 
>>> df.where(trim(df.word) != "")

2016-07-14 15:34:42

감사합니다. 해결책이 작동하지 않았습니다. 데이터 프레임의 모든 행을 비 웁니다. 결과를 보여주기 위해 질문 부분을 업데이트 할 것입니다. –

죄송합니다, 연산자를 입력하십시오. –

감사합니다. –

답변