하나의 블록에 오류가 발생했을 때 전체 데이터 흐름 네트워크를 종료하지 마십시오

Question

나는 DataFlowEx을 사용하고 있으며 예외가 발생하면 전체 DataFlow가 종료되는 것을 피할 수 있습니다.

나는 임의의 시간에 작업이 올 것 인 시스템이 있는데, 네트워크가 실패를 기록하고 특정 작업을 포기하고 다른 작업을 계속 실행하기를 원합니다.

It [a faulted block] should decline any further incoming messages. Here

DataflowEx takes a fast-fail approach on exception handling just like TPL Dataflow. When an exception is thrown, the low-level block ends to the Faulted state first. Then the Dataflow instance who is the parent of the failing block gets notified. It will immediately propagate the fatal error: notify its other children to shutdown immediately. After all its children is done/completed, the parent Dataflow also comes to its completion, with the original exception wrapped in the CompletionTask whose status is also Faulted. Here

이 거의 없습니다 실패에서 이동하기 블록처럼 보인다처럼 특히, TPL 및 DataFlowEx 모두 일을 설명서를 읽기에서

...

내 흐름을 많이 포함 파일 IO 및 가끔 예외가 발생할 것으로 예상하고 있습니다 (읽기/쓰기, 연결 실패, 권한 문제 ... 동안 네트워크 볼륨이 오프라인 상태가 됨)

전체 파이프 라인이 죽는 것을 원하지 않습니다. 블록이 경우 오류가 발생한 될 것

var result = pipeline.ProcessAsync(new[] { file1, file2 }).Result; 

Answer 1

:

여기

using Gridsum.DataflowEx; 
using System; 
using System.IO; 
using System.Threading.Tasks.Dataflow; 

namespace DataManagementSystem.Data.Pipeline.Actions 
{ 
    class CopyFlow : Dataflow<FileInfo, FileInfo> 
    { 
     private TransformBlock<FileInfo, FileInfo> Copier; 
     private string destination; 

     public CopyFlow(string destination) : base(DataflowOptions.Default) 
     { 
      this.destination = destination; 

      Copier = new TransformBlock<FileInfo, FileInfo>(f => Copy(f)); 

      RegisterChild(Copier);    
     } 

     public override ITargetBlock<FileInfo> InputBlock { get { return Copier; } } 

     public override ISourceBlock<FileInfo> OutputBlock { get { return Copier; } } 

     protected virtual FileInfo Copy(FileInfo file) 
     { 
      try 
      { 
       return file.CopyTo(Path.Combine(destination, file.Name)); 
      } 
      catch(Exception ex) 
      { 
       //Log the exception 
       //Abandon this unit of work 
       //resume processing subsequent units of work 
      } 

     } 
    } 
} 

내가 파이프 라인에 작업을 보내고있다 방법은 다음과 같습니다 여기

내가 함께 일하고 있어요 코드의 예입니다 Exception을 던집니다. 파이프 라인이 실패하는 것을 원하지 않으면 완료를 전파하거나 Exception을 처리 할 수 ​​없습니다. 예외를 처리하는 데는 여러 가지 형식이 있지만 단순한 재시도만으로도 충분하다고 생각됩니다. try/catch을 사용하고 직접 재시도 루프를 구현하거나 Polly과 같은 것을 사용할 수 있습니다. 아래에 간단한 예가 나와 있습니다.

참고 :이 코드는 테스트되지 않았지만 올바른 방향으로 가야합니다.

편집

당신은 거의 당신이 필요로하는 모든 것을 갖추고 있습니다. 예외를 잡아 로그하면 null 또는 파이프 라인 밖으로 필터링하여 NullTarget으로 필터링 할 수있는 다른 마커를 반환 할 수 있습니다. 이 코드는 NullTarget 필터링 링크가 Copier의 첫 번째 링크임을 보장하므로 null은 사용자의 실제 목적지로 연결되지 않습니다.

class CopyFlow : Dataflow<FileInfo, FileInfo> { 
    private TransformBlock<FileInfo, FileInfo> Copier; 
    private string destination; 

    public CopyFlow(string destination) : base(DataflowOptions.Default) { 
     this.destination = destination; 

     Copier = new TransformBlock<FileInfo, FileInfo>(f => Copy(f)); 
     Copier.LinkTo(DataflowBlock.NullTarget<FileInfo>(), info => info == null); 

     RegisterChild(Copier); 
    } 

    public override ITargetBlock<FileInfo> InputBlock { get { return Copier; } } 

    public override ISourceBlock<FileInfo> OutputBlock { get { return Copier; } } 

    protected virtual FileInfo Copy(FileInfo file) { 
     try { 
      return file.CopyTo(Path.Combine(destination, file.Name)); 
     } catch(Exception ex) { 
      //Log the exception 
      //Abandon this unit of work 
      //resume processing subsequent units of work 
      return null; 
     } 

    } 
}