검색 결과 열별로

Question

큰 데이터베이스의 결과 집합에 관한 문제가 있습니다. (MySQLDB, Java 1.7)

이 작업은 한 열의 모든 항목을 다른 데이터베이스로 변환하는 작업입니다. (예 : 3을 모든 숫자로 나누어 다른 데이터베이스에 쓰십시오.)

데이터베이스에 약 70 개의 열과 수백만 개의 행이 있으므로 첫 번째 방법은 SELECT *를 얻고 열로 Resultset을 구문 분석하는 것입니다.

유감스럽게도 지정된 방법으로 행 (행 (rs.next()) {} 등)을 거치므로이 방법으로 구문 분석 할 방법이 없습니다.

나는 70 개의 큰 배열을 만들 것이므로 이렇게하면 좋지 않다. 시간당 메모리 사용량을 줄이면된다.

그래서 여기 내 주요 질문은 다음과 같습니다

1. 방법이 있나요?
2. 모든 열에 대한 쿼리를 작성하고 (한 번에 하나의 배열이지만 70 개의 쿼리) 또는
3. 전체 결과 집합을 가져 와서 행별로 구문 분석하여 70 개 배열로 작성해야합니까?

안녕하세요. 미리 감사드립니다.

Answer 1

mysql 만 사용하면 어떨까요?

사용이 쿼리 :

create table <table_name> as select <column_name_on_which_you_want_transformation>/3 from <table name>; 

Answer 2

왜 page your queries이 아니겠습니까? 한 번에 'n'개의 행을 가져 와서 변환을 수행 한 다음 새 데이터베이스에 씁니다.

이것은 하나의 쿼리/반복에서 모든 것을 가져온 다음 한 번에 전체를 많이 쓰지 않고 행 단위로 작업하는 것이 비효율적이지 않다는 것을 의미합니다.

다른 의견은 아마도 조숙 한 최적화 일 것입니다. 전체 데이터 세트를로드하고 얼마만큼의 메모리가 필요한지 확인해 보았습니다. 그것이 10 또는 100의 megs의 순서라면, 나는 JVM이 그것을 쉽게 처리 할 것으로 기대한다.

변환을 Java로 수행해야한다고 가정합니다. 당신이 SQL에서 그것을 할 수 있다면, 전적으로 데이터베이스 내에서 그것을하는 것이 훨씬 더 효율적 일 것입니다.