최대 절전 모드, 1Millon 엔티티 저장, 많은 메모리 사용

Question

최대 절전 모드 + java에 문제가 있습니다. 파일을 가져 와서 CSVRecord로 구문 분석 한 다음 processRecord()로 각 행을 객체 (classA)로 변환 한 다음 내 DB에서 해당 객체를 찾으려고합니다. 객체를 "else"로 업데이트하면 나는 그것을 처음으로 저장한다. 1000 줄을 처리 한 후 트랜잭션을 커밋하고 세션을 정리하고 트랜잭션을 시작합니다. 문제는 파일 (1 백만 레코드)을 처리하기 시작할 때 메모리 Java가 많은 양 (2Gb)으로 증가하기 시작하고 마지막에 해제하지 않기 때문에 다른 파일을 처리하는 방법이 필요하면 메모리가없고, 아직 메모리가 없기 때문에 메모리 예외는 없었지만 서버에서는 동일하지 않습니다.

db = new DB(); 
db.open(); 
trn = db.session().beginTransaction(); 

for (CSVRecord line : lines) { 
     try { 
      if ((classA = processRecord(line)) != null) { 
      classB b = findObject(classA); 

      if (b != null) { 
       db.session().update(b); 
      } else { 
       db.session().save(classA); 
      } 

      if (recordNumber % 1000 == 0) { 
       trn.commit(); 
       db.session().clear(); 
       trn = db.session().beginTransaction(); 
      } 

      recordNumber++; 
      } 
     } catch (Exception e) { 
       e.printStackTrace(); 
     } 
} 

db.close(); 

Answer 1

사용 상태없는 세션 그것이이없는 같이 나는) ((높이) 분명하지만, 코드는 다음과 같은 것입니다, 을 워트하지 어느 쪽도하지 않았다 사용하여 동일한 코드를 수행하려고 현재 사용하고있는 방법에 비해 성능을 향상시키는 지속성 컨텍스트 캐시

StatelessSession session = sessionFactory.openStatelessSession(); 
Transaction tx = session.beginTransaction(); 
for (int i=0; i<100000; i++) { 
    session.insert(yourentiry); 
} 
tx.commit(); 
session.close();