언로드 여러 파일 내가 오류가 아래 점점 특정 S3 버킷에 Redshift에 여러 테이블을 언로드하려고

Question

안녕하세요 S3합니다 :

psycopg2.InternalError: Specified unload destination on S3 is not empty. Consider using a different bucket/prefix, manually removing the target files in S3, or using the ALLOWOVERWRITE option. 

내가 'allowoverwrite'추가 할 경우 unload_function에 대한 옵션은 그 전에 overwritting한다 S3에서 마지막 테이블을 언로드하고 테이블을로드합니다. 당신이 동일한 대상에 데이터를 저장하는 것을 불평

import psycopg2 

def unload_data(r_conn, aws_iam_role, datastoring_path, region, table_name): 
    unload = '''unload ('select * from {}') 
        to '{}' 
        credentials 'aws_iam_role={}' 
        manifest 
        gzip 
        delimiter ',' addquotes escape parallel off '''.format(table_name, datastoring_path, aws_iam_role) 

    print ("Exporting table to datastoring_path") 
    cur = r_conn.cursor() 
    cur.execute(unload) 
    r_conn.commit() 

def main(): 
    host_rs = 'dataingestion.*********.us******2.redshift.amazonaws.com' 
    port_rs = '5439' 
    database_rs = '******' 
    user_rs = '******' 
    password_rs = '********' 
    rs_tables = [ 'Employee', 'Employe_details' ] 

    iam_role = 'arn:aws:iam::************:role/RedshiftCopyUnload' 
    s3_datastoring_path = 's3://mysamplebuck/' 
    s3_region = 'us_*****_2' 
    print ("Exporting from source") 
    src_conn = psycopg2.connect(host = host_rs, 
           port = port_rs, 
           database = database_rs, 
           user = user_rs, 
           password = password_rs) 
    print ("Connected to RS") 

    for i, tabe in enumerate(rs_tables): 
      if tabe[0] == tabe[-1]: 
       print("No files to read!") 
      unload_data(src_conn, aws_iam_role = iam_role, datastoring_path = s3_datastoring_path, region = s3_region, table_name = rs_tables[i]) 
      print (rs_tables[i]) 


if __name__=="__main__": 
main() 

Answer 1

:

이

은 내가 준 코드입니다.

이것은 컴퓨터의 모든 파일을 같은 디렉토리에 복사하는 것과 같습니다. 파일을 덮어 씁니다.

당신은 변경해야합니다 당신의 datastoring_path 등 각 테이블 다른 될 수 있습니다 :

.format(table_name, datastoring_path + '/' + table_name, aws_iam_role)