InputStream 파일 및 출력 부분을 읽습니다.

Question

큰 파일 세트 (각 2-3GB 정도)가 있는데 InputStream을 사용하여이 파일을 읽고 새 파일로 출력해야합니다.

//this is just for example 
int size=100; 
String src="pathtofile"; 
OutputStream os = null; 
Inputstream is = new FileInputStream(new File(src)); 
byte[] buffer = new byte[size]; 
byte[] bufferis = getBytesFromIS(is); 

buffer=Arrays.copyOfRange(bufferis,0,buffer.length); 

String tempstr=new String(buffer); 
byte[] tempBytes=Arrays.copyOfRange(bufferis, buffer.length,is.available()); 
os = new FileOutputStream(new File(dest)); 
copy(new ByteArrayInputStream(tempBytes), os); //function writing to file 

이 작은 파일이 잘 작동하지만, 큰 파일에 사용할 때, 나는 여전히 OutOfMemoryError을 받고, -Xmx6114m을 설정하는 경우에도, OutOfMemoryError 점점 계속.

Answer 1

최대 배열 길이는 Integer.MAX_VALUE보다 약간 작습니다. 즉, 2e9입니다. 따라서 전체를 byte[]으로 읽을 수없고 다른 것을 사용해야합니다. ByteByffer이 아마도 가장 빠른 솔루션 일 것입니다 (메모리 매핑 된 파일).

Answer 2

getBytesFromIS(is)을 표시하지 않지만 전체 파일을 읽는다고 가정하면 필요하지 않습니다.

가장 쉬운 방법은 이미이 기능을 제공하며 완전히 테스트 된 라이브러리를 사용하는 것입니다. 예 : Apache Commons IOUtils.

그렇지 않으면 오프셋 길이 0에서 원하는 길이로 시작하여 InputStream.read(b, off, len)을 사용할 수 있습니다. 그러나이 함수는 이 아니므로은 원하는 모든 데이터를 읽을 수 있음을 유의하십시오.