JSON에 저장된 사용자 테이블을 나타내는 Firebase 데이터베이스의 덤프가 있습니다. 일부 데이터 분석을 실행하고 싶지만 메모리에 완전히로드하고 순수한 JavaScript (또는 _ 및 유사한 라이브러리)를 조작하기에는 너무 커서 문제가됩니다. 지금까지 나는 JSONStream 패키지를 사용하여 바이트 크기의 청크로 데이터를 처리했습니다. JSON 덤
Oboe.js, MongoDB 및 Express.js를 사용하여 HTTP를 통해 JSON 스트리밍을 실험하고 있습니다. 점은 Express.js에 MongoDB에서 쿼리 (Node.js를의 MongoDB를 기본 드라이브), 파이프를 (자바 스크립트 배열)을 수행하고 Oboe.js와 브라우저에서 구문 분석하는 것입니다. 내가 수행 한 벤치 마크는 MongoD
노드에서 약 12 개의 큰 (100MB + 500MB +) JSON 파일을 읽고 구문 분석하려고합니다. 나는 (이 문제에 대한 해결책으로 많은 사람들에 의해 제안) 다음과 같은 오류를 방지하기 위해 JSONStream를 사용하여 시도 : FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out