1
json 파일을 읽고 SQLContext를 사용하여 읽기에 스키마를 적용하려고하지만 null 허용 부분이 무시 된 것 같습니다.Pyspark는 Json 파일 읽기시 Nullability를 적용합니다.
는sqlc = SQLContext(sc)
df = sqlc.read.load("path/to/file", format="json", schema=schema)
필드 이름과 데이터 유형을 보인다 :
StructType(List(StructField(some_field,StringType,false), StructField(some_other_field,StringType,false))
지금 다음, 나는 JSON 파일을 읽고 같은 그것에 해당 스키마를 적용하려면 : 는이 같은 스키마 뭔가를 아무리 내가 Null 허용을 위해 넣어 무엇을 잘하지만, 작동하지, 모든 열은 다음과 같은 사실 = 널 (NULL)이 있습니다
root
|--some_field: string (nullable = true)
|--some_other_field: string (nullable = true)
어떻게 읽기에 내 열을 Null 허용을 적용 할 수 있습니까?
참고하시기 바랍니다. 나는 Python 2.7, pyspark 1.5.2를 사용하고있다.