Java 1.6 Windows-1252 인코딩이 3 자로 실패합니다.

Question

편집 :이 질문은 다소 비관적입니다. 응답 한 사람들에게 감사드립니다. 좀 더 구체적 인 후속 질문을 게시 할 수 있습니다.

오늘은 어떤 인코딩 문제를 투자하고 기본 생식 경우 분리하기 위해 단위 테스트를 썼다 :

int badCount = 0; 
for (int i = 1; i < 255; i++) { 
    String str = "Hi " + new String(new char[] { (char) i }); 

    String toLatin1 = new String(str.getBytes("UTF-8"), "latin1"); 
    assertEquals(str, new String(toLatin1.getBytes("latin1"), "UTF-8")); 

    String toWin1252 = new String(str.getBytes("UTF-8"), "Windows-1252"); 
    String fromWin1252 = new String(toWin1252.getBytes("Windows-1252"), "UTF-8"); 

    if (!str.equals(fromWin1252)) { 
     System.out.println("Can't encode: " + i + " - " + str + 
          " - encodes as: " + fromWin1252); 
     badCount++; 
    } 
} 

System.out.println("Bad count: " + badCount); 

출력 :

 
    Can't encode: 129 - Hi ? - encodes as: Hi ?? 
    Can't encode: 141 - Hi ? - encodes as: Hi ?? 
    Can't encode: 143 - Hi ? - encodes as: Hi ?? 
    Can't encode: 144 - Hi ? - encodes as: Hi ?? 
    Can't encode: 157 - Hi ? - encodes as: Hi ?? 
    Can't encode: 193 - Hi Á - encodes as: Hi ?? 
    Can't encode: 205 - Hi Í - encodes as: Hi ?? 
    Can't encode: 207 - Hi Ï - encodes as: Hi ?? 
    Can't encode: 208 - Hi ? - encodes as: Hi ?? 
    Can't encode: 221 - Hi ? - encodes as: Hi ?? 
    Bad count: 10 

JDK 1.6.0_07 맥 OS 10.6에 있습니다. 2

내 관찰 :

Latin1 대칭 모든 254자를 암호화합니다. Windows-1252는 그렇지 않습니다. 세 개의 인쇄 가능한 문자 (193, 205, 207)는 Latin1과 Windows-1252의 동일한 코드이므로 어떤 문제도 기대하지 않습니다.

누구든지이 동작을 설명 할 수 있습니까? 이것은 JDK 버그입니까?

- 그것은 아무 의미 론적 의미를 문자열 사이에 효과적으로 쓸모 변환을 만들기 때문에 제임스

제 생각에는

Answer 1

은 테스트 프로그램은, 깊이 결함이있다. 모든 바이트 값이 유효한 값이 주어진 인코딩되어 있는지 확인하려면

,이 같은 일이 그것 같이 더 많은 것 수 있습니다 :이 테스트 프로그램 테스트 입력을 사용하는 것이

가

public static void tryEncoding(final String encoding) throws UnsupportedEncodingException { 
    int badCount = 0; 
    for (int i = 1; i < 255; i++) { 
     byte[] bytes = new byte[] { (byte) i }; 

     String toString = new String(bytes, encoding); 
     byte[] fromString = toString.getBytes(encoding); 

     if (!Arrays.equals(bytes, fromString)) { 
      System.out.println("Can't encode: " + i + " - in: " + Arrays.toString(bytes) + "/ out: " 
        + Arrays.toString(fromString) + " - result: " + toString); 
      badCount++; 
     } 
    } 

    System.out.println("Bad count: " + badCount); 
} 

참고 (usnigned) 바이트는 해당 코드가 255

1 내지 (이 범위에 유니 코드 코드 포인트에 해당)을 char 값을 사용하여 1 내지 255 값들로 프로그램에 의해 처리되는 실제 바이트 어레이를 인쇄 예를 들어 보면 실제로 모든 바이트 값을 검사하지 않고 "나쁜"일치 항목 중 일부는 다른 항목과 중복됩니다. Windows-1252는 바이트 (129), 1441, 143, 144, 157 개 등의 유효 값을 값에 동의하지 않는다는 것을 말해 준다

 
Can't encode: 129 - in: [-127]/ out: [63] - result: � 
Can't encode: 141 - in: [-115]/ out: [63] - result: � 
Can't encode: 143 - in: [-113]/ out: [63] - result: � 
Can't encode: 144 - in: [-112]/ out: [63] - result: � 
Can't encode: 157 - in: [-99]/ out: [63] - result: � 
Bad count: 5 

: 인수와 "Windows-1252" 이것을 실행

는

이 출력을 생성한다. (참고 : 여기서 부호없는 바이트 값에 대해 말하고 있습니다. 위의 코드는 -127, -115, ...은 Java가 부호없는 바이트 만 알고 있기 때문에 표시합니다.

The Wikipedia article on Windows-1252

이 진술하여이 관찰을 확인하는 것 같다, 마이크로 소프트와 유니 코드 컨소시엄의 웹 사이트에있는 정보에 따르면

을 81, 8D, 8 층, 90, 및 9D가 사용되지 않는 배치

Answer 2

코드가 수행하는 것 (String->byte[]->String, 두 번)은 인데 반대로 코드 변환은이며 사실상 데이터를 잃을 수 있습니다.트랜스 코딩 byte[]->String->byte[] 의미 : 입력 대상 인코딩이 지원하지 않는 문자가 포함 된 경우

public byte[] transcode(byte[] input, String inputEnc, String targetEnc) 
{ 
    return new String(input, inputEnc).getBytes(targetEnc); 
} 

그리고 물론

, 그것은 데이터가 손실됩니다.