1
우리는 Azure Data Lake Store에 저장된 많은 수의 작은 파일을 병합하기 위해 MsConcat 함수를 사용하려고합니다. 여러 파일에 제한이 있는지 궁금합니다. documentation에있는 파일 수 제한에 대한 정보는 보지 못했습니다.MsConcat을 사용하여 파일을 연결하는 파일 수의 상한선은 무엇입니까?
A
답변
0
msconcat API는 최대 500 개의 파일을 연결하도록 설계되었습니다. 대부분의 경우,이 크기의 작업에는 정상적으로 작동합니다. 시스템이 고부하 상태 일 때, 500 개 이하의 파일에 오류가 발생할 수있는 경우와 같이 드문 경우가 있습니다. 그러나 이들은 정상 작동 중에는 예상되지 않습니다.
U-SQL에 [filesets]이라는 개념이 있으므로 파일을 실제로 연결할 필요가 없을 수도 있습니다 (https://msdn.microsoft.com/en-us/library/azure/mt771650.aspx) . 먼저 요구 사항 (예 : 파일 유형, 내용, 원하는 결과)에 대해 조금 더 알려주십시오. – wBob
내가 말했듯이, MsConcat을 사용하여 첫 번째 단계로 많은 수의 (10K ~ 20K) 작은 파일을 병합하고 싶습니다. 다음 단계에서는 U-SQL 처리를 위해 병합 된 파일을 처리하기 위해 파일 세트 패턴을 사용할 것입니다. – Jamil
@ Jamil이 질문은 유효한 질문이며 곧 이에 관해 다시 알려 드리겠습니다. –