C# 콘솔 앱을 사용하여 두 개의 큰 XML 파일 분할하기

Question

레거시 앱이 파일을 처리 할 수 ​​있도록 XML 파일 (~ 400MB)을 2 개로 분할해야합니다. 현재는 파일이 약 300MB를 초과 할 때 예외가 발생합니다.

처리를 수행하는 앱을 변경할 수 없기 때문에 콘솔 앱을 작성하여 파일을 두 개로 분할 할 수 있다고 생각했습니다. 이 일을하는 가장 좋은 방법은 무엇입니까? 자동화해야 텍스트 편집기를 사용할 수 없으며 C#을 사용하고 있습니다.

나는 고려 사항은 가정 :

• 태그를 닫는
• (안 '객체'의 중간에) 분할 좋은 장소를 찾는 분할
• 후 새 파일에 헤더를 작성 첫 번째 파일에 제대로 파일을 두 번째 파일에 올바르게 태그를여십시오.

어떤 제안이 있습니까?

Answer 1

"최고"방법은 XmlReader 및 XmlWriter 기반으로 할 가능성이 높습니다. 이러한 "스트리밍"API를 사용하면 전체 XML 객체 모델을 메모리 (및 DOM - XmlDocument - 텍스트 데이터보다 훨씬 더 많은 메모리가 필요할 수 있음)에로드 할 필요가 없습니다.

이러한 API를 사용하는 것은 문서를로드하는 것보다 어렵습니다. 구현시 컨텍스트 (예 : 현재 노드 및 상위 목록)를 추적해야하지만,이 경우 복잡하지는 않습니다 (요소를 열 수있을 정도로). 각 출력 문서를 열 때의 현재 상태).

Answer 2

순수한 C# 인 경우 64 비트 프로세스로 실행하면 아무런 노력 없이도 문제가 해결 될 수 있습니다 (64 비트 Windows가 있다고 가정).

Answer 3

파일의 전체 복사본을 만든 다음 각 파일에서 요소를 삭제하는 것이 좋습니다. 삭제가 발생할 수있는 레벨을 결정해야합니다.

FileB에서 삭제해야하는 요소의 수를 식별하기 위해 FileA에서 삭제 된 요소의 수로부터 상당히 간단해야합니다.

상황에 따라 적절합니까?

나는 다음과 같이 내 생각을 설명했다. 그것은 테스트되지 않았지만 그룹의 의견을 존중합니다. 당신이 원한다면 나를 downvote하지만 나는 건설적인 비판을 선호합니다.

using System.Xml; 
using System.Xml.Schema; 

namespace ConsoleApplication1 
{ 
    class Program 
    { 
     static void Main(string[] args) 
     { 
      SplitXML(args[0], args[1]); 
     } 

     private static void SplitXML(string fileNameA, string fileNameB) 
     { 
      int deleteCount; 
      XmlNodeList childNodes; 
      XmlReader reader; 
      XmlTextWriter writer; 
      XmlDocument doc; 

      // ------------- Process FileA 
      reader = XmlReader.Create(fileNameA); 
      doc = new XmlDocument(); 
      doc.Load(reader); 

      childNodes = doc.DocumentElement.ChildNodes; 
      deleteCount = childNodes.Count/2; 

      for (int i = 0; i < deleteCount; i++) 
      { 
       doc.DocumentElement.RemoveChild(childNodes.Item(0)); 
      } 
      writer = new XmlTextWriter("FileC", null); 
      doc.Save(writer); 

      // ------------- Process FileB 
      reader = XmlReader.Create(fileNameB); 
      doc = new XmlDocument(); 
      doc.Load(reader); 

      childNodes = doc.DocumentElement.ChildNodes; 

      for (int i = deleteCount + 1; i < childNodes.Count; i++) 
      { 
       doc.DocumentElement.RemoveChild(childNodes.Item(deleteCount +1)); 
      } 
      writer = new XmlTextWriter("FileD", null); 
      doc.Save(writer); 

     } 
    } 
}