python utf-8 HTML의 디코딩 오류

Question

urllib2를 사용하여 웹 페이지를 다운로드하고 MySQL 데이터베이스에 저장하려고합니다. 나는이 오류가 발생하지만

result_text = result.read() 
result_text = result_text.decode('utf-8') 

가 :

은 데이터 :이 같은 'UTF8'코덱 바이트 디코딩 할 수는 0x88의

이제

는 HTML 메타 태그는 상태 그 인코딩은 실제로 utf-8입니다. 필자는이 라인이 주위에 얻을 관리 : 나쁜 문자를 대체

result_text = result_text.decode('utf-8','replace') 

합니다. 그러나, 이것이 다운로드 된 데이터에 문제가 있다는 표시가 아니거나 소중한 문자를 제거하는 것이 아닙니다. IU는 페이지에 JavaScript도 포함되어 있다고 추가해야합니다.

왜 이런 일이 일어 났는지 말해 줄 수 있습니까? 감사

Answer 1

당신의 작은 데이터 샘플의

분석 :

>>> s = "\x98cW\x01\xa2\xbb\xba\xcc\xec\x90\xfc\xffP\xcb%\x01\x08" 
>>> u = s.decode('utf8', 'replace') 
>>> u 
u'\ufffdcW\x01\ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufffdP\ufffd%\x01\x08' 
>>> u.count(u'\ufffd') 
9 
>>> len(u) 
16 

(1) 그것은 확실히 UTF-8 가끔 잘못된 시퀀스입니다; 유니 코드 문자의 50 % 이상이 유효하지 않습니다. 다른 말로하면 앞뒤를 누르고 data.decode('utf8', 'replace')을 사용하는 것은 좋지 않습니다 (이 TINY 샘플을 기반으로 함).

(2) \x01 (두 번) 및 \x08은 어떻게 든 이진 데이터를 가지고 있다고 의심하게 만듭니다.

(3) 의견에서 인용 한 (잘 렸습니다) 오류 메시지는 0x88을 언급했지만 예제 데이터에는 0x88이 없습니다.

(4) 처음에 수행 했어야 할 사항을 보여주기 위해 질문을 편집하십시오 : (a) 액세스하는 URL을 포함하여 문제를 재현하는 데 필요한 최소 코드 (b) 전체 오류 메시지 및 추적 (c) 메모리에서 타이핑하지 않고 (a) 및 (b)를 복사/붙여 넣었 음을 보증합니다.