370 번째 반복 후 Async await in 루프가 중지됩니다.

Question

대용량 csv 파일 (GB 단위)을 청크로로드하려고합니다. 다음 코드 :

lineReader.open(filename,async function(err, reader) { 
    if (err) throw err; 
    var dataArr=[]; 
    while (reader.hasNextLine()) { 
    reader.nextLine(function(err, line) { 
     if(err) throw err; 
     console.log(line); 
     dataArr.push(csv_parse(line,headers)); 
    }); 
    console.log(dataArr.length); 
    if(dataArr.length == 3000){ 
     console.log(JSON.stringify(dataArr)); 
     await timeout(6000); 
     console.log("timeout"); 
     dataArr = []; 
    } 
    } 
    reader.close(function(err) { 
     if (err) throw err; 
    }); 
}); 

reader.nextline는() while 루프가 실행되는 경우에도 라인 (370)의 작동이 중지 후. 그러나 내가 코드를 바깥에서 기다리면 코드가 제대로 작동하는 것 같습니다. 왜 이런 일이 일어나는가?

Answer 1

문제의 원인이되는 콜백()과 콜백()이 섞여 있습니다.

특히, 모든 라인을 읽기 전에 호출되기 때문에 reader.close()이 너무 일찍 호출됩니다. 읽어 들여지는 370 줄은 파일이 닫히기 전에 읽혀지는 버퍼에 맞을 것이다.

해결책은 또한 다음과 같은 예를 들어, 약속을 기반으로 다음 라인을 읽을 수 있도록하는 것입니다 :

const getNextLine = async reader => { 
    return new Promise((resolve, reject) => { 
    reader.nextLine(function(err, line) { 
     if (err) return reject(err); 
     resolve(line); 
    }); 
    }); 
} 

lineReader.open(filename, async function(err, reader) { 
    if (err) throw err; 
    var dataArr = []; 
    while (reader.hasNextLine()) { 
    let line = await getNextLine(reader); 
    dataArr.push(csv_parse(line, headers)); 
    console.log(dataArr.length); 
    if (dataArr.length == 3000) { 
     console.log(JSON.stringify(dataArr)); 
     await timeout(6000); 
     console.log("timeout"); 
     dataArr = []; 
    } 
    } 
    reader.close(function(err) { 
    if (err) throw err; 
    }); 
});