파일을 Python으로 utf-8로 변환하는 방법은 무엇입니까?

Question

파이썬에서 utf-8로 많은 파일을 변환해야하는데 "파일 변환 중"부분에 문제가 있습니다.

iconv -t utf-8 $file > converted/$file # this is shell code 

감사 :

나는 동등한을하고 싶습니다!

Answer 1

이 같은 codecs module을 사용할 수 있습니다

import codecs 
BLOCKSIZE = 1048576 # or some other, desired size in bytes 
with codecs.open(sourceFileName, "r", "your-source-encoding") as sourceFile: 
    with codecs.open(targetFileName, "w", "utf-8") as targetFile: 
     while True: 
      contents = sourceFile.read(BLOCKSIZE) 
      if not contents: 
       break 
      targetFile.write(contents) 

편집는 : 파일 청크 크기를 제어 할 수 BLOCKSIZE 매개 변수를 추가했다.

Answer 2

이 작은 시험에서 나를 위해 일한 :

sourceEncoding = "iso-8859-1" 
targetEncoding = "utf-8" 
source = open("source") 
target = open("target", "w") 

target.write(unicode(source.read(), sourceEncoding).encode(targetEncoding)) 

Answer 3

감사 답장을 위해, 그것을 작동합니다!

그리고 소스 파일이 혼합 된 형식이기 때문에, 나는 소스 형식의 목록을 추가

순서 ( sourceFormats)에서 시도하고, UnicodeDecodeError에 나는 다음 형식을 시도 : Rudro에 의해

from __future__ import with_statement 

import os 
import sys 
import codecs 
from chardet.universaldetector import UniversalDetector 

targetFormat = 'utf-8' 
outputDir = 'converted' 
detector = UniversalDetector() 

def get_encoding_type(current_file): 
    detector.reset() 
    for line in file(current_file): 
     detector.feed(line) 
     if detector.done: break 
    detector.close() 
    return detector.result['encoding'] 

def convertFileBestGuess(filename): 
    sourceFormats = ['ascii', 'iso-8859-1'] 
    for format in sourceFormats: 
    try: 
     with codecs.open(fileName, 'rU', format) as sourceFile: 
      writeConversion(sourceFile) 
      print('Done.') 
      return 
     except UnicodeDecodeError: 
     pass 

def convertFileWithDetection(fileName): 
    print("Converting '" + fileName + "'...") 
    format=get_encoding_type(fileName) 
    try: 
     with codecs.open(fileName, 'rU', format) as sourceFile: 
      writeConversion(sourceFile) 
      print('Done.') 
      return 
    except UnicodeDecodeError: 
     pass 

    print("Error: failed to convert '" + fileName + "'.") 


def writeConversion(file): 
    with codecs.open(outputDir + '/' + fileName, 'w', targetFormat) as targetFile: 
     for line in file: 
      targetFile.write(line) 

# Off topic: get the file list and call convertFile on each file 
# ... 

(EDIT를 Badhon : 예외가 발생하지 않고 chardet.universaldetector를 사용하는 대체 접근 방식을 사용할 때까지 원래의 여러 형식을 통합합니다.

Answer 4

소스 인코딩이 무엇인지 추측하려면 file * nix 명령을 사용할 수 있습니다.

예 :

$ file --mime jumper.xml 

jumper.xml: application/xml; charset=utf-8 

Answer 5

이 UTF-8 인코딩의 하나에 임의의 텍스트 파일로 변환하는 Python3 함수이다. (불필요한 패키지를 사용하지 않고)

def correctSubtitleEncoding(filename, newFilename, encoding_from, encoding_to='UTF-8'): 
    with open(filename, 'r', encoding=encoding_from) as fr: 
     with open(newFilename, 'w', encoding=encoding_to) as fw: 
      for line in fr: 
       fw.write(line[:-1]+'\r\n') 

쉽게 루프를 사용하여 파일 목록을 변환 할 수 있습니다.