tokenize

2열

1답변

Keras Tokenizer 용 n-gram 사용 단어

Keras에서 단어의 n-gram을 사용하는 것이 사실입니까? 예를 들어, 문장 목록에는 X_train 데이터 프레임에 "문장"열이 포함됩니다. 나는 다음 방식으로 Keras에서 토크 나이 사용 tokenizer = Tokenizer(lower=True, split=' ') tokenizer.fit_on_texts(X_train.sentences) X_

nlp keras tokenize text-processing n-gram 2017-09-12

---

2열

1답변

Keras Tokenizer num_words가 작동하지 않는 것 같음

>>> t = Tokenizer(num_words=3) >>> l = ["Hello, World! This is so&#$ fantastic!", "There is no other world like this one"] >>> t.fit_on_texts(l) >>> t.word_index {'fantastic': 6, 'like': 10, 'no':

keras tokenize 2017-09-13

---

0열

1답변

수축 토큰 화에서 정규식을 뒤집는 방법은 무엇입니까? <code>nlp</code> 토큰에서

이 수축 가끔 같은 분할됩니다 >>> import re >>> s = 'he cannot fly' >>> pattern, substitution = r"(?i)\b(can)(not)\b", r" \1 \2 " >>> re.sub(pattern, substitution, s) 'he can not fly' 을 바꾸려면 (즉 detokenizatio

python regex nlp tokenize substitution 2017-05-03

---

0열

1답변

가변 금액의 단어에 대한 입력을 토큰 화하는 방법

여기에서 사용자 입력을 토큰 화하려고합니다. load sml.txt. 로드 명령은 토큰이 2 개이기 때문에 제대로 작동하지만, display과 같은 단일 단어 입력을 사용하려고하면 충돌이 발생하고 segfault가 생깁니다. 두 번째 토큰이 NULL이기 때문에 가정합니다. 그러나이 문제를 우회하는 방법을 모릅니다. 도울 수 있니? 참조 용 COMMAND_L

c segmentation-fault tokenize 2017-05-05

---

0열

1답변

Spark SQL을 사용하여 텍스트 콘텐츠를 토큰 화 하시겠습니까?

나는 apache spark와 mongodb를 사용하여 문서에 단어 사전을 생성하기위한 요구 사항을 구현하는 작업을하고있다. 제 시나리오에서는 각 문서에 문서의 소유자와 필드가있는 텍스트 형식 필드가있는 몽고 컬렉션이 있습니다. 나는 컬렉션 문서에서 텍스트 내용을 구문 분석하고 단어를 문서 및 소유자 필드에 매핑하는 사전을 만들려고합니다. 기본적으로, 키는

java mongodb apache-spark nlp tokenize 2017-05-07

---

0열

1답변

Elasticsearch에 사전 토큰 화 된 텍스트를 삽입하십시오.

관리되는 Elasticsearch 서비스를 사용하고 싶지만 특별히 필요한 플러그인이 없습니다. 플러그인은 맞춤형 토크 나이저를 제공하는 병음 플러그인입니다. 내 생각은 Elasticsearch에 삽입하기 전에 사전 처리 단계에서이 토큰 화를 복제하는 것입니다. I는 _analyze?text=%e5%88%98%e5%be%b7%e5%8d%8e&analyzer=

elasticsearch tokenize 2017-05-08

---

0열

1답변

다양한 길이의 줄기 단어 사용자 지정 목록과 일치하는 파이썬 목록 검색

파이썬을 사용하여 사용자 지정 줄기 단어에 대한 단어 토큰 화 된 초록을 검색하려고합니다. 다음 코드는 거의 내가 원하는 것입니다. 즉, stem_words의 값 중 하나라도 word_tokenized_abstract에 한 번 이상 표시됩니까? if(any(word in stem_words for word in word_tokenized_abstract))

python list nlp tokenize 2017-05-09

---

1열

1답변

문자열 토큰을 다른 문자열과 비교할 때이 오류가 계속 발생하는 이유는 무엇입니까?

이 간단한 함수는 전달 된 문자열 토큰이 true인지 반환하는지 여부를 확인하기위한 것입니다. 이 컴파일되지 않습니다 그리고 난라는 예기치 않은 오류가 발생하지만 bool isOp(std::string tokens){ for (int i = 0; i < tokens.size(); i++) { if (tokens[i] == "+" || t

c++ string token tokenize 2017-05-10

---

2열

1답변

StringTokenizer에서 구분 기호를 가져 오는 방법은 무엇입니까?

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'"); 구분 기호를 검색 할 수있는 방법이 있습니까 (이 경우 모든 구두점)? 예를 들어 "이것은 테스트이며 테스트이기도합니다." 토큰 화 결과에 두 개의 토큰이 포함되기를 원하십니까? 그럴 수 있습니까?

java string tokenize stringtokenizer 2017-05-19

---

0열

2답변

큰 텍스트 파일에서 nltk를 사용하는 문장 분할

큰 텍스트 파일에서 문장을 추출하려면 nltk.sent_tokenize()을 사용해야합니다. 파일 크기는 1MB에서 400MB까지 다양하므로 메모리 제한 때문에 파일을 완전히로드 할 수 없으며 nltk.sent_tokenize()을 사용하고 파일을 한 줄씩 읽을 수는 없다고 생각합니다. 이 작업을 수행 하시겠습니까?

python nltk tokenize 2017-05-20

---