Python으로 UTF-8 파일에 쓰기

Question

나는 codecs.open function과 정말로 혼동합니다. 내가 할 때 : 그것은 잘 작동

file = open("temp", "w") 
file.write(codecs.BOM_UTF8) 
file.close() 

:

file = codecs.open("temp", "w", "utf-8") 
file.write(codecs.BOM_UTF8) 
file.close() 

을 내가 할 경우 오류를 나에게

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

을 제공합니다.

질문 첫 번째 방법이 실패하는 이유는 무엇입니까? 그리고 어떻게 뼈를 삽입합니까?

두 번째 방법이 올바른 방법 일 경우 codecs.open(filename, "w", "utf-8")을 사용하는 요점은 무엇입니까?

Answer 1

나는 codecs.BOM_UTF8이 유니 코드 문자열이 아닌 바이트 문자열이라는 것을 믿습니다. 나는 파일 처리기가 "나는 유니 코드를 UTF-8로 인코딩 된 텍스트로 쓰려고하는데, 바이트 문자열을 주셨다"라는 말을 근거로 생각하고 있습니다.

import codecs 

file = codecs.open("lol", "w", "utf-8") 
file.write(u'\ufeff') 
file.close() 

가 (즉, 정답을 줄 것 같다 있도록

바이트 순서 표시 (예 : 유니 코드 U + FEFF)의 유니 코드 문자열을 작성하려고 직접 파일은 UTF-8로한다는 인코딩 - 바이트 EF BB BF가있는 파일)

EDIT : S. Lott의 suggestion 인코딩은 "BOM"을 명시 적으로 작성하는 것보다 나은 방법이지만,이 답을 남겨 두겠습니다. 여기서 무엇이 잘못되었는지 전에 설명합니다.

Answer 2

다음을 읽어 http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

이

with codecs.open("test_output", "w", "utf-8-sig") as temp: 
    temp.write("hi mom\n") 
    temp.write(u"This has ♭") 

결과 파일을 수행하는 UTF-8 예상 BOM에 있습니다. S-로트 @

Answer 3

오른쪽 절차를 제공하지만, 유니 코드 문제에 확장의 파이썬 인터프리터는 더 통찰력을 제공 할 수 있습니다. BOM 표준 유니 코드 이름이,

>>> import codecs 
>>> codecs.BOM 
'\xff\xfe' 
>>> codecs.BOM_UTF8 
'\xef\xbb\xbf' 
>>> 

다른 니트를 따기, 그것은으로 입력 할 수 있습니다 :

는 바이트 문자열이 포함 -

존 소총은 codecs 모듈에 대한 권리 (이상한)이다

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}" 
>>> bom 
u'\ufeff' 

그것은 unicodedata 통해서도 접근 :

>>> import unicodedata 
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE') 
u'\ufeff' 
>>> 

Answer 4

나는 UTF-8의 BOM을 사용하지 마십시오 UTF-8 파일

# -*- encoding: utf-8 -*- 

# converting a unknown formatting file in utf-8 

import codecs 
import commands 

file_location = "jumper.sub" 
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location) 

file_stream = codecs.open(file_location, 'r', file_encoding) 
file_output = codecs.open(file_location+"b", 'w', 'utf-8') 

for l in file_stream: 
    file_output.write(l) 

file_stream.close() 
file_output.close()