파이썬과 '|'를 사용하여 스파크 데이터 프레임을 파일에 씁니다. delimiter

Question

나는 쿼리로부터 Spark 데이터 프레임을 구성했다. '|'인쇄에 의해 구분 된 모든 정보를 텍스트 파일로 dataframe 내가 무엇을하고자처럼, 다음

+-------+----+----+----+ 
|Summary|col1|col2|col3| 
+-------+----+----+----+ 
|row1 |1 |14 |17 | 
|row2 |3 |12 |2343| 
+-------+----+----+----+ 

내가 어떻게 할 수 있습니까?

Answer 1

구분 기호를 선택하여 csv에 쓸 수 있습니다.

df.write.option("sep","|").option("header","true").csv(filename) 

이것은 100 % 동일하지는 않지만 가까운 것입니다.

또는 당신은 드라이버를 수집하고 그것을 할 youself 예컨대 :

myprint(df.collect()) 

또는

myprint(df.take(100)) 

df.collect 행의 목록을 반환 df.take 수 있습니다.

이 마지막으로 당신이 topandas를 사용하여 드라이버를 수집하고 스파크 2.0에서 팬더 도구

Answer 2

을 사용할 수 있습니다, 당신은 내장 CSV 작가 사용할 수 있습니다. 여기에서 delimiter은 기본적으로 ,이며, 사용자는 |

df.write \ 
    .format('csv') \ 
    .options(delimiter='|') \ 
    .save('target/location')