tokenize

0열

1답변

약어 및 어포 스트로피가 아닌 단어에서 구두점을 분리하여 텍스트 토큰 화

약어 및 어포 스트로피를 고려하면서 구두점을 단어에서 분리하여 토큰화할 텍스트를 입력했습니다. 나는 파이썬과 nltk 라이브러리를 사용하고 있지만 출력이 잘못되어있어 정규식이 올바르지 않다고 생각합니다. # coding: utf-8 import re import nltk from nltk.tokenize import * text = "\"Predi

python nltk tokenize 2017-09-18

---

0열

1답변

python tokenizer word2vec 모델에 2 단어 구문

word2vec 용 python gensim 패키지를 사용하고 있습니다. tokenize 단어와 2 단어 구문에서 모델을 실행하고 싶습니다. 나는 10,000 ~ 문서가 있고 nltk Regextoknizer를 사용하여 모든 문서에서 단일 단어 토큰을 얻습니다. 문서를 어떻게 토큰 화하여 2 단어 구를 얻을 수 있습니까? 예를 들어 : 문서 : 과 2 단어

python nltk tokenize 2017-09-19

---

0열

2답변

버퍼 대신 입력 문자열에 대한 포인터가있는 sscanf의 변형이 있습니까? 이 같은

sscanf 작품 : int main(const int argc, const char *argv[]) { char buf1[1024] = {0}; char buf2[1024] = {0}; char buf3[1024] = {0}; char *str = "abc, 123; xyz"; sscanf(str, "%[^,]

c parsing scanf tokenize 2017-09-23

---

2열

2답변

이런 종류의 연결 문자열을 분할하는 방법 : "howdoIsplitthis?"

내가 이와 같은 문자열이 있다고 가정 : "IgotthistextfromapdfIscraped.HowdoIsplitthis?" 그리고 생성하려면 : 어떻게 "I got this text from a pdf I scraped. How do I split this?" 할 수 있습니까?

string algorithm tokenize text-segmentation 2017-09-29

---

0열

1답변

정규식에서 OR 연산자 (|)를 사용하여 정렬되지 않은 부분 문자열을 일치시킬 필요가 있습니까? C 프로그래밍 언어 파이썬에서 어휘 분석을 실행하는 경우

, 나는 다음과 같은 문제가 발생했습니다 unsigned을 지정하는 임의의 순서로,이 정수 유형이 u (U)로 종료 할 수 l (L) 수정 또는 둘 또는 long 정수 유형입니다. 우리가 여기에서 볼 수 있듯이 '''Dec''' r'\b([1-9][0-9]*)[uU]?[lL]?\b|\b([1-9][0-9]*)[lL][uU]\b' '''Oc

python regex tokenize lexical-analysis 2017-10-02

---

0열

1답변

파일 이름이 SOLR에 필터 쿼리에서 잘못 해석하기 전 같은 ss_content 같은 필터 쿼리를 방지하려면 어떻게 6.6

: 70756_box4_v29.jpg을에서이 parsed_filter_queries에서 "filter_queries":["ss_content:(41339_box4_v29.jpg)"], "parsed_filter_queries":["ss_content:41339_box4_v29 ss_content:jpg"] 아래로 분석되는 파일 이름은 별도의 2에 다진

parsing solr lucene tokenize solr6 2017-10-03

---

0열

1답변

C, 토큰 화 문자열을 사용하여 2D 배열 채우기

쉼표로 구분 된 정수로 2 차원 배열을 채우려고합니다. 3x3 배열을위한 공간을 이미 할당했습니다. 이제, 입력 텍스트의 각 줄을 반복하여 정수를 잡고 배열에 배치하려고합니다. 다음과 같이 char currLine[257]; char *token; for(int i = 0; i < size; i++){ fgets(currLi

c arrays io tokenize 2017-10-03

---

1열

2답변

String Tokenizer/Regex에서 파일의 전자 메일 주소/IP 주소를 찾습니다.

전자 메일 주소와 IP 주소가 포함 된 줄이있는 문서가 있습니다. 전자 메일 주소와 IP 주소의 관점에서 문서를 분할하여 각 IP/전자 메일 주소 나 단어를 파일에 배열로 저장해야합니다. regex/String Tokenizer를 사용하여 이메일/IP 주소를 찾는 방법이 있습니까? regex/String Tokenizer를 사용하여 한 줄씩 문장의 단어를

java regex tokenize stringtokenizer 2017-10-04

---

0열

1답변

길이가 3 자 이상인 색인어

Solr (버전 6.5)에서 큰 텍스트 단락을 색인화합니다. 길이가 3 자 이상인 단어 만 색인해야합니다 (문자 만). 그러나 필요한 숫자의 색인 생성. 예 - 'ask'와 'as'는 필요하지 않지만 '10'과 '101'이 필요합니다. 이 작업을 수행하는 한 가지 방법은 stopwords.txt 파일에서 가능한 모든 조합을 사용하는 것입니다. 누군가 더 좋

solr tokenize 2017-10-06

---

0열

1답변

원래 문자열을 대체하는 탄성 검색에서 줄무늬 표시

다음 설정을 사용하여 ES 색인을 만들었습니다. "settings": { "analysis" : { "analyzer" : { "my_analyzer" : { "tokenizer" : "standard", "filter" : ["standard", "lowercase", "my_stemmer"]

elasticsearch tokenize analyzer elasticsearch-5 stemming 2017-10-06

---