java.sql.SQLException : <field_name>에 대한 유효성 검사에 실패했습니다. 'null'을 double 유형으로 변환 할 수 없습니다.

Question

나는 logstash를 사용하여 elasticsearch에서 crate.io 로의 파이프 라인을 만듭니다. 아래는 설정입니다.

input{ 
elasticsearch { 
    hosts => "<host_name>:9200" 
    index => "index1" 
    query => '{ "size":10,"query": {"match_all": {} } }' 
    } 
} 
filter{ 
    if!([bench_pose][M_Body_t]) { 
      mutate{ 
        add_field => {"[bench_pose][M_Body_t]" => null} 
      } 
    } 
    if!([bench_pose][M_Jaw_t]) { 
      mutate{ 
        add_field => {"[bench_pose][M_Jaw_t]" => null} 
      } 
    } 
} 
output{ 
jdbc { 
     driver_class => "io.crate.client.jdbc.CrateDriver" 
     driver_auto_commit => false 
     driver_jar_path => "/etc/crate/crate-jdbc-standalone-1.12.3.jar" 
     connection_string => "crate://<host_ip>:4300" 
     statement => ["INSERT INTO table_name(path,bench_pose_m_Body_t,bench_pose_m_jaw_t) VALUES(?,?,?)",'path','%{[bench_pose][M_Body_t]}','%{[bench_pose][M_Jaw_t]}'] 
    } 
} 

소스 객체 데이터 유형이다 필드 'bench_pose'를 갖고, 아래 bench_pose 필드 M_Body_t 및 M_Jaw_t은 double 유형이다. 이 필드는 소스와 대상에서 NULL 가능합니다. 이 필드는 소스의 몇몇. 서에서 널 값을가집니다. 대상 테이블에 NULLable 필드가 있어도 insert 문에서 null 값이있는 문서가 발견되면 아래 오류가 발생합니다.

JDBC - Exception. Not retrying. {:exception=>java.sql.SQLException: Validation failed for bench_pose_m_body_t: 'null' cannot be cast to type double 

필터 플러그인을 제거하면 다음과 같은 오류가 발생합니다.

JDBC - Exception. Not retrying. {:exception=>java.sql.SQLException: Validation failed for bench_pose_m_body_t: '%{[bench_pose][M_Body_t]}' cannot be cast to type double 

삽입에 null 값을 하드 코딩하고 crate sql에서 쿼리를 실행하면 올바르게 실행됩니다. logstash에서이 필드의 null 값을 어떻게 파싱합니까?

Answer 1

당신은이에 INSERT 문을 변경해야

statement => ["INSERT INTO table_name(path,benc‌​h_pose_m_Body_t,bench‌​_pose_m_jaw_t) VALUES(?,TRY_CAST(? as double),TRY_CAST(? as double))",'path','%{[bench_pose][M_Body_t]}','%{[bench_pose][M_Jaw_t]}'] 

TRY_CAST 호환되지 않는 유형 캐스트의 경우 오류를 던지는 대신 null를 돌려줍니다.