온라인 로그 데이터가 포함 된 원본 및 저급 텍스트 데이터 파일이 있습니다. 저급 원시 데이터를 정렬하고 배열 된 데이터를 .csv 파일로 내 보내야합니다. 샘플 원시 데이터는 다음과 같습니다. 데이터에서 evendid은 열 이름이고 0f3f98c7-1cee-4c1a-bc9219b은 필드 값입니다. 같은 방식으로 visitiorid도 열 이름이고 "0154
최근 오픈 소스 인 Google Quick Draw 데이터 세트에서이 ndjson 파일을 받았습니다. 이 코디네이트에서 PNG 이미지를 만들려고합니다. 나는 [{'key_id': 5344373355053056, 'image': [((2, 38, 71, 108, 128, 139), (10, 24, 31, 22, 14, 4)), ((0, 13, 13, 3, 1
320 행의 데이터 프레임이 있습니다. 나는 팬더로 ndjson으로 변환했다 : df.to_json('file.json', orient='records', lines=True)
그러나 데이터를로드 할 때 나는 단지 200 개의 행을 얻는다. pd.read_json('file.json', orient='records', lines=True)
내 데이터
Google 클라우드 플랫폼에서 클라우드 스토리지, Appengine 및 Bigquery를 사용하는 프로토 타입을 개발 중입니다. 이제 작업 중 하나는 내가 AppEngine에에 크론 작업을 사용하고 BigQuery를 위해 구글 클라우드 스토리지 매일 파일을로드하는 것입니다 문제는 BigQuery에 데이터가 NDJSON 형식이 될 것으로 기대하고있다. (새