데이터 중복없이 팬더 데이터 프레임을 데이터베이스에 삽입하려면 어떻게해야합니까?

Question

.to_sql 함수를 사용하여 데이터를 삽입했습니다. 그러나 중복 된 삽입 데이터를 검사 할 수는 없습니다. (중복 된 테이블 만 검사 할 수 있습니다.) 아래 소스 코드를 두 번 실행하면

소스 코드).

결과) 동일한 데이터가 테이블에 삽입되었습니다.

0 2016-11-14 00:00:10 AAAA 
1 2016-11-14 00:00:20 BBBB 
0 2016-11-14 00:00:10 AAAA 
1 2016-11-14 00:00:20 BBBB 

어떻게 데이터 중복없이 데이터베이스에 팬더 dataframe를 삽입 할 수 있습니다?

은 (또한, 나는 데이터를로드 지역 INFILE을 사용하려고하지만 보안 문제의 이유에 의해 사용할 수 없습니다.)

Answer 1

당신이 관리 권한이있는 경우 데이터베이스에, 나는 약간을 넣어 당신을 건의 할 것 테이블 자체에 대한 제약 조건. 그러면 파이썬 삽입은 예외를 발생시키고 (당신은 그것을 가로 챌 수 있습니다). 그렇지 않으면 테이블에서 데이터를 먼저 검색하고 팬더 안에 병합을 시도 할 수 있습니다. 그런 다음 모든 열을 기준으로 그룹을 만들고 존재하지 않는 데이터를 새로운 데이터 프레임으로 가져 와서 삽입합니다.

Answer 2

import pandas as pd 
import pypyodbc 
from sqlalchemy import create_engine 


##Data of Excel File - ExcelData(Sheet1) 
##id name 
##1 11 
##2 22 
##3 33 
##4 44 
##5 55 


##CREATE TABLE [test].[test_quest_complete](
## [id] [int] NULL, 
## [name] [int] NULL 
##) 


TblName="test_quest_complete" 
cnxn = pypyodbc.connect("dsn=mydsn;Trusted_Connection=Yes") 
engine = create_engine("mssql+pyodbc://mydsn") 

file_name="C:\Users\poonamr\Desktop\ExcelData.xlsx" 
xl = pd.ExcelFile(file_name) 
userData = xl.parse("Sheet1") 
print(userData) 

sql="Select * From test." + TblName 
tblData=pd.read_sql(sql,cnxn) 
print(tblData) 

Finalresult=pd.concat([userData, tblData]).drop_duplicates(keep=False) 
print(Finalresult) 

Finalresult.to_sql(TblName, engine, if_exists='append',schema='test', index=False)