tokenize

1열

4답변

텍스트 파일 읽기 (~ 90,000 단어) 각 단어를 문자열의 ArrayList에 추가하려고합니다.

내 방법이 파일을 읽고 인쇄하지만 각 단어를 ArrayList dict에 추가하는 데 문제가 있습니다. 독자가 파일을 한 번에 하나씩 읽으므로 작성자가 각 문자를 dict에 추가합니다. [고양이, 개]를 원할 때 [c, a, t, d, o, g]. 텍스트 파일에는 단어가 각 행에 있습니다. 어떻게 구별 할 수 있습니까? 지금까지 내 코드 : public s

0열

1답변

파이썬에서 텍스트를 벡터로 변환

import tokenize tags = [ "python, tools", "linux, tools, ubuntu", "distributed systems, linux, networking, tools", ] from sklearn.feature_extraction.text import CountVectorizer vec

1열

1답변

자바 InputStream - Java8 스트림 토큰 화

텍스트 파일의 각 단어를 Java8 스트림의 문자열로 가져 오는 방법이 있습니까? 예. 당신은 TEST.TXT 한 : Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod 당신은 스트림 수 : BufferedReader br = new BufferedReader(new FileR

0열

1답변

모나코 편집기 - 재귀 상태를 사용하여 같은 행에있는 임의의 수의 인수를 일치 시키십니까?

다음과 같은 도움이 필요합니다. RobotFramework와 같은 (http://robotframework.org) 공백 구분 구문의 텍스트 파일 편집기로 웹 GUI에 모나코 편집기 (https://github.com/Microsoft/monaco-editor)를 구현하고 있습니다. 각 키워드/인수는 두 개 이상의 연속 된 공백을 사용하여 구분됩니다. 키워

1열

1답변

keras를 사용하여 txt 문자열 배열을 토큰 화하려고 할 때 인수 오류가 발생합니다.

문자열 배열을 토큰 화하고 공식 시퀀스로 변환하려고합니다. 그러나 다음 코드를 실행하려고하면 오류가 발생합니다. __init__() got an unexpected keyword argument 'num_words' 누군가가 말해 왜 수 : 여기 tokenizer = Tokenizer(num_words=20000) tokenizer.fit_on_tex

0열

1답변

NLTK nltk.tokenize.texttiling을 사용하여 텍스트를 단락으로 나누는 방법?

Split Text into paragraphs NLTK - usage of nltk.tokenize.texttiling? 텍스트를 텍스트 입력에 보내는 방법을 설명했지만 여기에 표시된대로 단락/주제 변경에 의해 토큰 화 된 텍스트를 반환 할 수 없습니다. http://www.nltk.org/api/nltk.tokenize.html. 텍스트를 텍스트로 가져

1열

1답변

하이픈에 ngram 및 단어 구분 기호가없는 Elasticsearch 사용자 정의 분석기

하이픈을 포함하지만 공백, 마침표 또는 다른 구두점을 포함하지 않는 문자열을 색인화하려고합니다. 하이픈을 기반으로 단어를 분할하지 않고 하이픈을 색인 텍스트의 일부로 사용하고 싶습니다. 예를 들어, 제 6 텍스트 문자열은 다음과 같습니다 magazineplayon magazineofhorses 온라인 잡지 최고의 잡지 친구 -의 - 잡지 magazinepl

0열

1답변

strtok를 3 개의 토큰으로 제한

다음과 같은 데이터 문자열이 있습니다 : 3,1,6,IN,88. 나는 첫 번째 3 개주기 얻을 필요가 은 그래서 IN,88되는 마지막 , 마지막 문자열 전에 루프를 중지합니다 (| 1 | | 6 3 88IN) : char *pch=strtok (data,","); while (pch != NULL) { //works well her

1열

1답변

Java에서 Postagger를 사용하여 다른 POS (품사)를 다른 파일에 저장 하시겠습니까?

POS (음성 부분) 태그에 openNLP를 사용하고 있습니다. 나는 파일 이름 DT.txt이 저장려고 할 때 InputStream inputStream = new FileInputStream("C:/en-pos-maxent.bin"); POSModel model = new POSModel(inputStream); P

0열

2답변

토큰 화,

이 같은 텍스트 감안할 때 문장 부호에 의해 분할 토큰을 분리, 내가 생산하기 위해 예를 들어 NLTK의 트윗 토큰 화와 함께 토큰 화 수있어 "위대한 음료, 쇠고기 해시, 커피, 부리 토를." ['Great', 'drinks', ',', 'beef', 'hash', ',', 'coffee', ',', 'burritos', '.'] I