파일이 유효한 UTF-8인지 확인하는 방법은 무엇입니까?

Question

유효한 UTF-8이 아닌 일부 데이터 파일을 처리하고 있는데, 파서 (내 제어 권한이 아님)가 실패하게됩니다. UTF-8 형식화에 대한 데이터를 사전 검증하는 단계를 추가하고 싶지만 아직이 작업을 수행하는 데 유용한 유틸리티를 찾지 못했습니다.

W3C에 죽은 것으로 보이는 web service이 있는데 올바르지 않은 UTF-8 파일을보고하지만 수정할 줄/문자를보고하지 않는 Windows 전용 유효성 검사 tool을 발견했습니다.

내가 떨어 뜨릴 수있는 도구 (이상적으로는 크로스 플랫폼) 또는 루비/펄 스크립트를 사용하여 데이터로드 프로세스에 참여할 수있어서 행복 할 것입니다.

Answer 1

당신은 GNU의의 iconv를 사용할 수 있습니다

$ iconv -f UTF-8 your_file -o /dev/null 

또는 맥 OS에로의 iconv 이전 버전과

:

파일을 성공적으로 변환 할 수 있다면이 명령은 0을 반환합니다

$ iconv -f UTF-8 your_file > /dev/null; echo $? 

하고, 그렇지 않다면 1입니다. 또한 잘못된 바이트 시퀀스가 ​​발생한 바이트 오프셋을 인쇄합니다.

편집 : 출력 인코딩을 지정하지 않아도됩니다. 출력 인코딩은 UTF-8로 간주됩니다.

Answer 2

python 및 str.encode | decode 함수를 사용하십시오.

>>> a="γεια" 
>>> a 
'\xce\xb3\xce\xb5\xce\xb9\xce\xb1' 
>>> b='\xce\xb3\xce\xb5\xce\xb9\xff\xb1' # note second-to-last char changed 
>>> print b.decode("utf_8") 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/local/lib/python2.5/encodings/utf_8.py", line 16, in decode 
    return codecs.utf_8_decode(input, errors, True) 
UnicodeDecodeError: 'utf8' codec can't decode byte 0xff in position 6: unexpected code byte 

예외는 .args 속성에서 요청 된 정보를 갖습니다.

>>> try: print b.decode("utf_8") 
... except UnicodeDecodeError, exc: pass 
... 
>>> exc 
UnicodeDecodeError('utf8', '\xce\xb3\xce\xb5\xce\xb9\xff\xb1', 6, 7, 'unexpected code byte') 
>>> exc.args 
('utf8', '\xce\xb3\xce\xb5\xce\xb9\xff\xb1', 6, 7, 'unexpected code byte') 

Answer 3

gnu iconv 라이브러리는 어떻습니까? iconv() 함수 사용 : "입력에 유효하지 않은 멀티 바이트 시퀀스가 ​​발생했습니다.이 경우 errno를 EILSEQ로 설정하고 (size_t) (- 1)을 반환합니다. * inbuf는 잘못된 멀티 바이트 시퀀스의 시작 부분을 가리 킵니다. "

편집 : 오 - 내가 스크립트 언어를 원하는 부분을 놓쳤습니다. 그러나 명령 행 작업의 경우 iconv 유틸리티가 사용자를 확인해야합니다.

Answer 4

아래의 C++ 코드는 인터넷을 통해 많은 사이트에 게시 된 코드를 기반으로합니다. 원래 코드에서 오류를 수정하고 잘못된 문자와 잘못된 문자 자체의 위치를 ​​모두 검색 할 수있는 가능성을 추가했습니다.

///Returns -1 if string is valid. Invalid character is put to ch. 
int getInvalidUtf8SymbolPosition(const unsigned char *input, unsigned char &ch) { 
    int     nb, na; 
    const unsigned char *c = input; 

    for (c = input; *c; c += (nb + 1)) { 
    if (!(*c & 0x80)) 
     nb = 0; 
    else if ((*c & 0xc0) == 0x80) 
    { 
     ch = *c; 
     return (int)c - (int)input; 
    } 
    else if ((*c & 0xe0) == 0xc0) 
     nb = 1; 
    else if ((*c & 0xf0) == 0xe0) 
     nb = 2; 
    else if ((*c & 0xf8) == 0xf0) 
     nb = 3; 
    else if ((*c & 0xfc) == 0xf8) 
     nb = 4; 
    else if ((*c & 0xfe) == 0xfc) 
     nb = 5; 
    na = nb; 
    while (na-- > 0) 
     if ((*(c + nb) & 0xc0) != 0x80) 
     { 
      ch = *(c + nb); 
      return (int)(c + nb) - (int)input; 
     } 
    } 

    return -1; 
} 

Answer 5

당신은 moreutils 컬렉션 isutf8를 사용할 수 있습니다. 쉘 스크립트에서

$ apt-get install moreutils 
$ isutf8 your_file 

는 --quiet 스위치를 사용하여 유효한 UTF-8있는 파일에 대한 제로 종료 상태를 확인합니다.