유니 코드 문자열에서 단어 수 가져 오기 (모든 언어에서)

Question

문자열에서 단어 수를 가져 오려고합니다. 그것만큼이나 간단합니다. 캐치는 문자열이 예측할 수없는 언어 일 수 있다는 것입니다.

그래서, 나는 다음과 같은 샘플 출력 서명 int getWordCount(String)의 기능을 필요 -

getWordCount("供应商代发发货") => 7 
getWordCount("This is a sentence") => 4 

를 들어 주시면 감사하겠습니다 :)

Answer 1

"단어"의 개념을 테스트 사소한하거나 복잡 할 수 있습니다.

워드 토큰 화 : 여기 Apache Stanbol 툴킷 하나의 단어의 검출은 텍스트를 처리 할 Stanbol 증강 필요합니다. 이것은 대부분의 언어에서 사소한 일이지만 일부 동부 언어에서는 다소 복잡한 작업입니다 (예 : 중국어, 일본어, 한국어. 달리 구성되지 않으면 Stanbol은 공백을 사용하여 단어를 토큰 화합니다. 단어의 개념은 언어보다는 문법 경우

그래서, 당신은 사용해야합니다 NLP toolkit

내 선호하는 자바 솔루션입니다 Apache's Open NLP

참고 : 나는 http://www.mdbg.net/chindict/chindict.php?page=worddict 이 예를 토큰 화하는 데 사용한 . 그것은 4 단어가 7이 아니라는 것을 의미합니다.내가 잘라 (오히려 조각) 붙여 넣은 :

이

원본 텍스트 간체 병음 영어 정의는 사전 전통 HSK 供应 商 供应 商 공 잉 샹

공급 업체에 새로운 단어를 추가

供應 商 代
代 다이

,

다른 사람을 대신하여 행동/대체하기/교체/생성/시대/연령/기간/(역사) 시대/(지질) EON

보내
FA

发 发/ FA

,369 发 총소리 (라운드)에 대한/분류

發 을 개발/HSK 4

을 발행/(하나의 느낌을) 보여

hair/Taiwan pr. [FA3]

髮 发货
发货 FA

가 파견 Huo의/발송하는 제품

發貨

이 처음 세 문자

는 하나를 형성하기 위해 표시 워드. 우리는 모든 언어가 하나 (또는 ​​그 이상)의 단어 분리기를 가지고 있으며, 당신이 그 구분을위한 정규식을 구축 할 수 있다고 가정하면

Answer 2

영어 버전

을 진행하는 방법에 어떤 도움 당신은 오히려 간단한 Regex로 할 수있는 영어 버전. 나는 일부 사용자 지정 구분을 놓친하지만 한 수

public static int getWordCount(String str) { 
    return str.split("[\\s,;-]+").length; 
} 

정규식 설명 :

[ 
\\s Any whitespace character or 
, A comma 
; or a semi-colon 
] 
+ Followed by any patterns in the group any number of times 

중국어 버전

를 들어 그룹 []에서 하나를 발견하면

분할 중국어 버전, 당신은 어떤 separato 식별해야합니다 rs입니다. 중국어 구분 기호의 유니 코드 char 코드를 가져 와서 위의 정규식에 추가하면 원하는 결과를 얻을 수 있습니다.

이

System.out.println(getWordCount("This is a sentence"));// 4 
System.out.println(getWordCount("This is a sentence")); // 4 
System.out.println(getWordCount("This is a  ,,sentence")); // 4 

Answer 3

는 다음 문제는 다음과 같이 해결할 수 있습니다

이

public String separatorForLanguage(char unicodeChar){ 
     // Find out in which language unicodeChar falls 
     return ""; // return regex of separator of that language 
    } 

    public int wordCount(String sentance){ 
     char unicodeChar = sentance.charAt(0); 
     String separator = separatorForLanguage(unicodeChar); 

     int count = sentance.split(separator).length; 
     if (separator.isEmpty()) { 
      count--; 
     } 

     return count; 
    } 

Answer 4

표준 API가 BreakIterator을 제공합니다 이러한 종류의 경계 분석은 Oracle Java 7 로켈 지원이 샘플 문자열을 손상시키지 않습니다.

ICU4J v51.1 BreakIterator을 사용할 때 [供应, 商代, 发, 发, 货]으로 샘플이 손상되었습니다.

// import com.ibm.icu.text.BreakIterator; 
String sentence = "\u4f9b\u5e94\u5546\u4ee3\u53d1\u53d1\u8d27"; 
BreakIterator iterator = BreakIterator.getWordInstance(Locale.CHINESE); 
iterator.setText(sentence); 

List<String> words = new ArrayList<>(); 
int start = iterator.first(); 
int end = iterator.next(); 
while (end != BreakIterator.DONE) { 
    words.add(sentence.substring(start, end)); 
    start = end; 
    end = iterator.next(); 
} 
System.out.println(words); 

참고 : 나는 구글이 "供应 商代 发 发货"중국어라고 생각 번역 사용. 분명히, 나는 언어를 말하지 않아서 결과물의 정확성에 대해서는 언급 할 수 없다. 여기

Answer 5

중국 (?) 텍스트 자바

public static int getWordCount(String string) 
{ 
    Pattern pattern = Pattern.compile("[\\w']+|[\\u3400-\\u4DB5\\u4E00-\\u9FCC]"); 
    Matcher matcher = pattern.matcher(string); 
    int count = 0; 
    while(matcher.find()) 
     count++; 
    return count;         
} 

예

//count is 5 
int wordCount = getWordCount("this is popcorny's 電腦");