java - 프로세스가 다른 프로세스에서 사용 중이기 때문에 프로세스가 파일에 액세스 할 수 없습니다.

Question

파일 추가를 위해 디렉토리를 모니터링하는 코드 조각이 있습니다. 디렉토리에 새 파일이 추가 될 때마다 파일 내용이 선택되어 kafka에 게시 된 다음 파일이 삭제됩니다.

이것은 하나의 요청을 만들었지 만 코드를 jMeter에서 5 명 또는 10 명의 사용자 요청을 받으면 내용이 kafka에 성공적으로 게시되지만 코드는 파일을 삭제할 수 없습니다. 나는 The process cannot access the file because it is being used by another process.이라는 메시지와 함께 FileSystemException을 얻습니다.

내가 볼 수없는 몇 가지 동시성 문제가 있다고 생각합니다. 도와주세요 !

public void monitor() throws IOException, InterruptedException { 
    Path faxFolder = Paths.get(TEMP_FILE_LOCATION); 
    WatchService watchService = FileSystems.getDefault().newWatchService(); 
    faxFolder.register(watchService, StandardWatchEventKinds.ENTRY_CREATE); 
    boolean valid = true; 
    do { 
     WatchKey watchKey = watchService.take(); 
     for (WatchEvent<?> event : watchKey.pollEvents()) { 
      if (StandardWatchEventKinds.ENTRY_CREATE.equals(event.kind())) { 
       String fileName = event.context().toString(); 
       publishToKafka(new File(TEMP_FILE_LOCATION + fileName).toPath(), "topic"); 
      } 
     } 
     valid = watchKey.reset(); 
    } while (valid); 
} 

private void publishToKafka(Path path, String topic) { 
    try (BufferedReader reader = Files.newBufferedReader(path)) { 
     String input = null; 
     while ((input = reader.readLine()) != null) { 
      kafkaProducer.publishMessageOnTopic(input, topic); 
     } 
    } catch (IOException e) { 
     LOG.error("Could not read buffered file to send message on kafka.", e); 
    } finally { 
     try { 
      Files.deleteIfExists(path); // This is where I get the exception 
     } catch (IOException e) { 
      LOG.error("Problem in deleting the buffered file {}.", path.getFileName(), e); 
     } 
    } 
} 

예외 로그 :

java.nio.file.FileSystemException: D:\upload\notif-1479974962595.csv: The process cannot access the file because it is being used by another process. 

    at sun.nio.fs.WindowsException.translateToIOException(Unknown Source) 
    at sun.nio.fs.WindowsException.rethrowAsIOException(Unknown Source) 
    at sun.nio.fs.WindowsException.rethrowAsIOException(Unknown Source) 
    at sun.nio.fs.WindowsFileSystemProvider.implDelete(Unknown Source) 
    at sun.nio.fs.AbstractFileSystemProvider.deleteIfExists(Unknown Source) 
    at java.nio.file.Files.deleteIfExists(Unknown Source) 
    at com.panasonic.mdw.core.utils.MonitorDirectory$FileContentPublisher.publishToKafka(MonitorDirectory.java:193) 
    at com.panasonic.mdw.core.utils.MonitorDirectory$FileContentPublisher.sendData(MonitorDirectory.java:125) 
    at com.panasonic.mdw.core.utils.MonitorDirectory$FileContentPublisher.run(MonitorDirectory.java:113) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) 
    at java.lang.Thread.run(Unknown Source) 

Answer 1

당신은 그것을 삭제하기 전에 해당 파일에 액세스하는 모든 연결을 종료해야합니다.

Answer 2

코드를 보면 한 파일을 다시 게시하기 위해 스레드가 선택했을 때 다른 스레드가 게시를 위해이를 선택하는 것 같습니다. 그래서 아무도 그것을 삭제할 수 없습니다. 동시성 문제 만 가능해야합니다. 동시에 실행할 수있는 단계와 될 수없는 단계를 기준으로 코드를 재 설계해야합니다. 전체 과정에서 그래서 단계는 다음과 같습니다

가

1. 파일을 선택
2. 파일 (그것을 할 수있는 다른 스레드 전화)
3. 파일을 삭제 (호출 스레드를해야한다 게시 (주 스레드를 수행해야합니다) 모든 파일의 존재는 (다시 메인 스레드는 또한

) 파일이 선택되는 순간 그것을 할 수 있다면)

체크를 삭제, 당신은 버퍼로 읽어을 삭제 한 다음 게시를 계속할 수 있습니다. 이렇게하면 주 스레드가이 파일을 다른 스레드에 할당하지 않도록합니다.

Answer 3

동적으로 생성 된 파일을 대기열 서비스에 업로드하려고 할 때 다음 스레드와 비슷한 문제가 발생했습니다. Multithreading on Queue 해결하기 위해 2 일이 걸렸습니다. 위의 대답을 준 Holger 덕분에 잠금이 다른 스레드가 읽을 때 완전히 완료되지 않았기 때문에 발생할 수 있으므로 시간이 많이 절약되었습니다.

WatchEvent<Path> ev = cast(event); 
Path name = ev.context(); 
Path child = dir.resolve(name); 
//queueUploadFile(child); 
if (kind == ENTRY_CREATE) { 
    uploadToQueue(this.queueId, child); 
} 

나는 그것을 변경 :

인터넷에서 찾은 많은 나의 초기 솔루션이었다

WatchEvent<Path> ev = cast(event); 
Path name = ev.context(); 
Path child = dir.resolve(name); 
//queueUploadFile(child); 
if (kind == ENTRY_MODIFY) { 
    uploadToQueue(this.queueId, child); 
} 

그리고 모든 것을 완벽하게 작동합니다. "여하튼"여러 개의 ENTRY_MODIFY 이벤트 발생 (중복 된 파일 업로드)을 처리하기 위해 업로드 된 uploadToQueue() 메서드 내에서 파일에 대한 삭제 작업을 수행합니다.

나는 위의 공헌도를 바탕으로 한 나의 접근법이 비슷한 문제를 가진 다른 사람들에게도 도움이되기를 바랍니다.