tokenize

0열

1답변

필요한 길이를 기준으로 문자열 분할하기

필요한 길이를 기준으로 문자열을 분할하는 쉬운 방법이 있습니까? 예를 들어, 내가 문자열이 있습니다 <Data>AAAAABBBBB1111122222RRRRR<Data> 을 나는 다음과 같은 출력을 채우려 : AAAAA BBBBB 11111 22222 RRRRR 감사합니다.

xslt xslt-1.0 xslt-2.0 tokenize 2017-01-19

---

1열

1답변

문자열을 토큰화할 때 spacy의 토크 나이저가 특정 하위 문자열을 분할하지 못하게하려면 어떻게해야합니까?

문자열을 토큰화할 때 spacy의 토크 나이저가 특정 하위 문자열을 분할하지 못하게하려면 어떻게해야합니까? 이 등록되면, 폴더 멀리 쉘에서 갔다 : 은보다 구체적으로, 나는이 문장이있다. 로 토큰 화됩니다 는 [번/등록 /, /은/폴더/간/거리 /에서//그녀/LL /.] scapy 1.6.0에 의해. 서브 문자열 shell을 두 개의 서로 다른 토큰 she

python nlp tokenize spacy 2017-01-26

---

2열

1답변

특정 문자로 시작하는 토큰 제거

안녕 내 미리 정의 된 목록 (접두사) 내에 포함 된 모든 토큰을 제거하려고합니다. 아래는 내 코드이며 토큰을 제거하지 않습니다. prefixes = ('#', '@') tokens = [u'order', u'online', u'today', u'ebay', u'store', u'#hamandcheesecroissant', u'#whoopwhoop', u

python string tokenize 2017-01-29

---

-1열

1답변

신용 카드 토큰 화 : 이중 인증을 피하는 방법?

(이것이 맞는 지 확실하지 않은 경우 다른 포럼을 지적하십시오.) 저는 유럽에 거주하고 있으며 은행의 보안 결제 서비스의 일환으로 은행에서 제공 한 토큰 화 시스템을 사용하는 고객을 위해 인보이스 발행 시스템을 구축했습니다. (즉, 페이팔 (Paypal), 브레인 트리 (Braintree), 스트라이프 (Stripe)와 같은 거대한 미국 서비스는 아닙니다.

tokenize credit-card pci-compliance two-factor-authentication 2017-02-01

---

0열

1답변

ICUTokenizerFactory의 원래 토큰을 보존합니다.

solr.ICUTokenizerFactory을 사용하여 firstName 및 lastName 필드를 색인화합니다. 따라서 언어 별 단어 경계에 따라 토큰화할 수 있습니다. <fieldType name="text_icu" class="solr.TextField" positionIncrementGap="100"> <analyzer> <toke

elasticsearch solr lucene tokenize 2017-02-01

---

4열

1답변

정규 표현식 패턴 ITSELF를 토큰 화하는 방법은 무엇입니까?

regexp를 사용하여 일부 문자열을 토큰 화하는 방법에 대해 많은 질문이 있습니다. 하지만 정규 표현식 패턴을 토큰 화하기 위해서는 주제에 대한 게시물이 있지만 찾을 수는 없습니다. 예 : 일부 regexp 함수가 호출 될 때 나는이 일을 믿고있어 ^\w$ -> ['^', '\w', '&'] [3-7]* -> ['[3-7]*'] \w+\

python regex python-2.7 tokenize 2017-02-02

---

0열

1답변

RegexpTokenizer

from nltk.tokenize import RegexpTokenizer text="That's some text, you know!" tokens=[] tokenizer = RegexpTokenizer(r'\w+') tokens+=tokenizer.tokenize(text.lower()) 와 문자열에서 '제거하려면 현재 반환 방법 : text

python nltk tokenize 2017-02-05

---

2열

2답변

파이썬에서 후행 문장 부호를 유지하십시오. nltk.word_tokenize

구두점을 제거하는 데 사용할 수있는 톤이 있지만 그다지 유지할 ​​수없는 것 같습니다. 내가 할 경우 "." from nltk import word_tokenize test_str = "Some Co Inc. Other Co L.P." word_tokenize(test_str) Out[1]: ['Some', 'Co', 'Inc.', 'Other', '

python nlp nltk tokenize 2017-02-07

---

0열

1답변

Neo4j에서 Elastic 검색으로 복제 된 데이터를 어떻게 토큰 화합니까?

내 Neo4j 그래프에서는 특정 종류의 노드 만 사용자가 검색 할 수 있습니다. 이 노드에는 "동의어"라는 레이블과 하나의 "별칭"속성 만 있습니다. 그래프를 탄성 검색으로 복제하는 GraphAware Neo4j Elasticsearch Integration (Neo4j Module)을 사용하고 있습니다. 즉, 탄성 검색 인덱스를 만듭니다. 그때 CALL

elasticsearch neo4j tokenize graph-databases graphaware 2017-02-10

---

3열

1답변

'IDENTIFIER'규칙도 ANTLR Lexer 문법에서 키워드를 사용합니다.

Java 구문 분석을 위해 Antlr 3.5 문법을 사용하는 동안 'IDENTIFIER'규칙은 ANTLR Lexer 문법에서 키워드를 거의 사용하지 않습니다. 또한 "이" 키워드를 소비, 바람직하지 않다 - public final int inch = this.getValue(); 그런 규칙 '> 식별자가 VAR_VALUE'내가 선을 구문 분석 할 때 렉

java parsing antlr tokenize antlr3 2017-02-14

---