파이썬, 유니 코드 : 잘못된 형식의 문자열로 작업하기

Question

Redshift 데이터베이스에서 데이터를 가져 오는 Django 앱을 만들고 있습니다. 이 Redshift 데이터베이스에 쓴 사람들은 기괴한 선택을했습니다. 내가

u'Let\u2019s play! \\xe2\\x9a\\xbd\\xef\\xb8\\x8f' 

파이썬으로이납니다 psycopg2와

Let’s play! \xe2\x9a\xbd\xef\xb8\x8f 

나는대로이 렌더링하기로 해요 : 나는이 같은 문자열을 가지고 있다는 사실을 처리하는 방법을 알아 내려고 노력하고있어

놀자! ⚽️

이들은 빨간색 전환 테이블에 varchar(65535)으로 저장됩니다. 나는 pyscopg2를 사용하여 앱 백엔드 (Django 1.11, Python 2.7)에 끌어다 놓았다. 프런트 엔드에서 JavaScript로 렌더링됩니다.

모든 의견을 보내 주시면 감사하겠습니다. 해결책을 찾지 못했습니다.

Answer 1

인코딩이 혼합되어 있기 때문에 (Windows-1252 및 16 진수 UTF-8과 같은 모양)이 혼합이 일관되면 항목을 사후 처리 할 수 ​​있습니다.

import re 

esc = re.compile(r'(?:\\x[0-9a-f]{2})+') 

def fixer(m): 
    return m.group().encode('latin1').decode('unicode-escape').encode('latin1').decode('utf8') 

s = u'Let\u2019s play! \\xe2\\x9a\\xbd\\xef\\xb8\\x8f' 
f = esc.sub(fixer,s) 
print repr(f) 
print f 

출력 :

u'Let\u2019s play! \u26bd\ufe0f' 
Let’s play! ⚽️