json 파일에서 데이터 프레임을 만들면 json 파일의 필드가 기본적으로 데이터 프레임에 정렬됩니다. 이 정렬을 피하는 방법? I는이 파일로부터 데이터 프레임을 생성 할 때
Json 필드가 스파크로 변환 될 때 기본적으로 정렬 됨
{"name":"john","age":10,"class":2} {"name":"rambo","age":11,"class":3}
을 :
val jDF = sqlContext.read.json("/user/inputfiles/sample.json")
을 DF가 jDF: org.apache.spark.sql.DataFrame = [age: bigint, class: bigint, name: string]
로 만들어
Jsonfile 행당 하나 JSON 메시지를 구비. DF에서 필드는 기본적으로 정렬됩니다.
어떻게 이런 일이 발생하지 않도록할까요?
여기에서 무엇이 잘못되었는지 이해할 수 없습니다.
문제를 해결하는 데 도움을 주셔서 감사합니다. 질문 1에 대한
** ** 질문 당 하나의 ** 질문. –
DF가 JSON과 다른 순서로 속성을 끝내고 있지만 JSON 개체는 ** 정렬되지 않은 ** 필드 모음이라고합니다. [참고] (http://json.org). '{ "a": 1, "b": 2}'와'{ "b": 2, "a": 1}'은 완전히 똑같습니다. 따라서 DF가주의를 기울여야하는 JSON에는 "주문"이 없습니다. (DF에 관해서는 아무 것도 모릅니다. 따라서 주문이있는 지 모르겠습니다.) –
@ T.J.Crowder에게 감사드립니다. 원본 json에서와 같은 순서로 열 순서가있는 테이블을 만들어야합니다. 따라서 데이터 프레임에서 json 속성을 정렬하면 문제가 생깁니다. – SrinivasR