ICU를 사용하여 분음 부호를 제거하는 코드

Question

다른 사람이 악센트 부호를 제거하기 위해 (예 : 악센트, 움라우트 등이있는 악센트 부호가없는 악센트 부호가없는 악센트 등 모든 악센트와 같은 문자로 대체 할 수있는 몇 가지 샘플 코드를 제공하십시오. é은 UnicodeString에서 C++의 ICU 라이브러리를 사용하여 일반 ASCII e이됩니까? 예 :

UnicodeString strip_diacritics(UnicodeString const &s) { 
    UnicodeString result; 
    // ... 
    return result; 
} 

s은 이미 표준화되었다고 가정합니다. 감사. 더 다른 검색 후

Answer 1

:

O (N)이다

UErrorCode status = U_ZERO_ERROR; 
UnicodeString result; 

// 's16' is the UTF-16 string to have diacritics removed 
Normalizer::normalize(s16, UNORM_NFKD, 0, result, status); 
if (U_FAILURE(status)) 
    // complain 

// code to convert UTF-16 's16' to UTF-8 std::string 's8' elided 

string buf8; 
buf8.reserve(s8.length()); 
for (string::const_iterator i = s8.begin(); i != s8.end(); ++i) { 
    char const c = *i; 
    if (isascii(c)) 
    buf8.push_back(c); 
} 
// result is in buf8 

.

Answer 2

ICU를 사용하면 특정 규칙을 사용하여 문자열을 음역 할 수 있습니다. 내 규칙은 NFD; [:M:] Remove; NFC입니다 : 분해하고, 발음 구별을 제거하고, 재구성하십시오. 다음 코드는 입력으로 UTF-8 std::string를 받아 돌려 다른 UTF-8 std::string :

#include <unicode/utypes.h> 
#include <unicode/unistr.h> 
#include <unicode/translit.h> 

std::string desaxUTF8(const std::string& str) { 
    // UTF-8 std::string -> UTF-16 UnicodeString 
    UnicodeString source = UnicodeString::fromUTF8(StringPiece(str)); 

    // Transliterate UTF-16 UnicodeString 
    UErrorCode status = U_ZERO_ERROR; 
    Transliterator *accentsConverter = Transliterator::createInstance(
     "NFD; [:M:] Remove; NFC", UTRANS_FORWARD, status); 
    accentsConverter->transliterate(source); 
    // TODO: handle errors with status 

    // UTF-16 UnicodeString -> UTF-8 std::string 
    std::string result; 
    source.toUTF8String(result); 

    return result; 
}