Java Quartz Ibatis Cron Issues

Question

나는 ibatis 행 처리기를 사용하여 매우 큰 데이터 세트 (innodb 테이블에 1 백만 행)를로드하는 Java webapp를 가지고있다. 이 프로세스는 석영 스케쥴러에 의해 야간 cron 작업으로 실행됩니다. 그러나 6 분 동안 처리하면 다음 스택 추적으로 종료됩니다.

WARN [DefaultQuartzScheduler_Worker-8] MethodInvokingJobDetailFactoryBean$MethodInvokingJob.executeInternal(168) | Could not invoke method 'doBatch' on target object [org.myCron@4adb34] 
org.springframework.jdbc.UncategorizedSQLException: SqlMapClient operation: encountered SQLException [ 
--- The error occurred in org/myCron/mySqlMap.xml. 
--- The error occurred while applying a result map. 
--- Check the mySqlMap.outputMapping. 
--- The error happened while setting a property on the result object. 
--- Cause: com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception: 

** BEGIN NESTED EXCEPTION ** 

java.io.EOFException 

STACKTRACE: 

java.io.EOFException 
     at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:1903) 
     at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:2402) 
     at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:2860) 
     at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:771) 
     at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1289) 
     at com.mysql.jdbc.RowDataDynamic.nextRecord(RowDataDynamic.java:362) 
     at com.mysql.jdbc.RowDataDynamic.next(RowDataDynamic.java:352) 
     at com.mysql.jdbc.ResultSet.next(ResultSet.java:6106) 
     at org.apache.commons.dbcp.DelegatingResultSet.next(DelegatingResultSet.java:168) 
     at sun.reflect.GeneratedMethodAccessor71.invoke(Unknown Source) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
     at java.lang.reflect.Method.invoke(Method.java:592) 
     at com.ibatis.common.jdbc.logging.ResultSetLogProxy.invoke(ResultSetLogProxy.java:47) 
     at $Proxy10.next(Unknown Source) 
     at com.ibatis.sqlmap.engine.execution.SqlExecutor.handleResults(SqlExecutor.java:380) 
     at com.ibatis.sqlmap.engine.execution.SqlExecutor.handleMultipleResults(SqlExecutor.java:301) 
     at com.ibatis.sqlmap.engine.execution.SqlExecutor.executeQuery(SqlExecutor.java:190) 
     at com.ibatis.sqlmap.engine.mapping.statement.GeneralStatement.sqlExecuteQuery(GeneralStatement.java:205) 
     at com.ibatis.sqlmap.engine.mapping.statement.GeneralStatement.executeQueryWithCallback(GeneralStatement.java:173) 
     at com.ibatis.sqlmap.engine.mapping.statement.GeneralStatement.executeQueryWithRowHandler(GeneralStatement.java:133) 
     at com.ibatis.sqlmap.engine.impl.SqlMapExecutorDelegate.queryWithRowHandler(SqlMapExecutorDelegate.java:649) 
     at com.ibatis.sqlmap.engine.impl.SqlMapSessionImpl.queryWithRowHandler(SqlMapSessionImpl.java:156) 
     at com.ibatis.sqlmap.engine.impl.SqlMapClientImpl.queryWithRowHandler(SqlMapClientImpl.java:133) 
     at org.springframework.orm.ibatis.SqlMapClientTemplate$5.doInSqlMapClient(SqlMapClientTemplate.java:267) 
     at org.springframework.orm.ibatis.SqlMapClientTemplate.execute(SqlMapClientTemplate.java:165) 
     at org.springframework.orm.ibatis.SqlMapClientTemplate.queryWithRowHandler(SqlMapClientTemplate.java:265) 
     at org.myCron.doBatch(MyCron.java:57) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
     at java.lang.reflect.Method.invoke(Method.java:592) 
     at org.springframework.util.MethodInvoker.invoke(MethodInvoker.java:248) 
     at org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean$MethodInvokingJob.executeInternal(MethodInvokingJobDetailFactoryBean.java:165) 
     at org.springframework.scheduling.quartz.QuartzJobBean.execute(QuartzJobBean.java:66) 
     at org.quartz.core.JobRunShell.run(JobRunShell.java:191) 
     at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:516) 


** END NESTED EXCEPTION ** 

스택 추적은 매우 모호합니다. 내가 볼 수있는 유일한 힌트는 '결과 객체에 속성을 설정하는 동안 오류가 발생했습니다'입니다. 결과 개체에는 String과 Integer라는 두 가지 속성 만 있습니다. 둘 다 null 값을 허용하지만 내 select 문은 둘 다 Null 값이 없음을 나타냅니다. 그들은 둘 다 적절한 gettter/setter를 가지고 있습니다. (죽기 전에 프로세스가 성공적으로 실행되기 때문에 의미가 있습니다.) cron이 실행될 때마다 임의의 지점에서 종료됩니다 (따라서 특정 행에 걸리지 않습니다).

주 - 'doBatch'메소드는 cron 프로세스를 시작하는 메소드이기 때문에 존재합니다. doBatch를 찾을 수 없으면 처음 1000 개의 행을 성공적으로 처리 할 수 ​​없습니다.

나는 quartz 외부에서 runnning을 시도해 보았지만 실패했다. 우리는 MySQL net_read_timeout, net_write_timeout 및 delayed_insert_timeout을 증가 시키려고 시도했지만 이러한 설정 중 아무 것도 문제를 해결하지 못했습니다. 또한 log4j 설정을 DEBUG로 설정하려고 시도했지만 도움이되는 정보를 얻지 못했습니다.

내가 시도 할 수있는 다른 아이디어가 있습니까?

Answer 1

MySQL과 같은 소리가 어떤 이유로 연결을 종료했습니다. MySQL 로그를 확인하십시오. 필요한 경우 MySQL의 다양한 로깅 옵션을 켭니다.

또한 응용 프로그램에서 디버그 데이터 (타임 스탬프 포함)를 인쇄하십시오. 모든 것을 인쇄 한 다음 마지막 작업이 무엇인지 확인하십시오. 버그가있는 코드에서 드물게 트리거되는 조건이있을 수 있습니다.

e.e. 매번 MySQL과 대화 할 때마다 이전에 로그를 남긴다.