tokenize

    0열

    1답변

    solr 질의를위한 복수 토큰 화자

    나는 SolR에 대해 다소 새로운 입장이다. 여러 토큰 화 프로그램을 사용하고 싶습니다. 단어 등 \의 t, 공간, 쉼표로 분리받을 수 있도록 나는 지금은 추가 토크 나이를 사용하고자하는 표준 토크 나이를 사용하고 있습니다. 단어 나는 그것이 "창고", "소"하고되고 싶은 "외양간에게"가 있다면. 분할하려는 검색 색인에 공통된 단어가 몇 개 있습니다. 따라
    lucene solr tokenize 2011-02-14

    2열

    1답변

    양방향 텍스트 구문 분석 권장 사항

    Markdown, BBCode, DocuWiki 등과 같은 일반적인 패러다임의 조합을 사용하여 형식이 지정된 텍스트를 처리 할 수 ​​있도록 양방향 텍스트 구문 분석 프레임 워크를 구현하는 것이 타당한지 검토하고 있습니다. 실질적으로 이것은 각 implentation이 공통 형식으로 변환 할 수 있어야 함을 의미합니다. HTML이 될 수도 있지만 XML이나
    php text markdown tokenize text-parsing 2011-02-26

    5열

    1답변

    웹 서버 - 요청을 구문 분석하는 방법? 비동기 스트림 Tokenizer?

    비동기 소켓 프로그래밍 스타일의 C#으로 간단한 웹 서버를 만들려고합니다. 그 목적은 매우 좁습니다 - 혜성 서버 (http long-polling). Windows 서비스가 실행 중이며 연결을 수락하고 콘솔에 요청 정보를 보내고 간단한 고정 콘텐츠를 클라이언트에 반환합니다. 이제 요청 데이터를 비동기 적으로 안전하게 구문 분석 할 수있는 관리 가능한 전략
    http parsing asynchronous stream tokenize 2011-02-27

    1열

    1답변

    NSScanner 대 componentsSeparatedByCharactersInSet을 사용하는 경우 : NSString을 토큰 화 하시겠습니까?

    iPhone에서 많은 문자열을 토큰 화해야합니다. 분명히 자원은 최소한입니다. 내 문자열을 토큰 화하기 위해 componentsSeparatedByCharactersInSet:을 사용했지만 속도가 느립니다. NSScanner을 사용하는 것이 더 좋습니까? 일반적으로 토큰 화하기 위해 하나 또는 다른 것을 사용하도록 선택할 때 따라야하는 지침은 무엇입니까?
    iphone objective-c tokenize nsscanner 2011-03-01

    2열

    1답변

    apache commons lang StrTokenizer

    빈 문자열 또는 null 중 하나를 읽으려면 빈 토큰이 필요하므로 나는 아파치 공유를 사용하기로 결정했습니다. lang StrTokenizer 그러나 여전히 빈 문자열을 얻을 수 없습니다. 토큰 화하기 전에 setEmptyTokenAsNull 메서드를 설정해야한다는 것을 알고 있습니다. 그러나 나는 그것을 어떻게 할 수 있습니까? 도와주세요. tok = n
    string apache-commons tokenize 2011-01-13

    8열

    2답변

    토큰 화 중에 나누기/RegExp 충돌

    Word, Number, String, RegExp, Operator, Comment 및 Newline과 같은 기본 유형을 탐지하는 간단한 javascript 토크 나이저를 작성합니다. 다 잘되고 있지만 현재 문자가 RegExp 구분 기호 또는 나누기 연산자인지 검색하는 방법을 이해할 수 없습니다. 너무 느리기 때문에 정규식을 사용하지 않습니다. 아무도 그
    javascript regex token tokenize 2011-01-18

    1열

    1답변

    python 토큰 화의 버그?

    왜 것이 if 1 \ and 0: pass 토큰 화/untokenize주기에 코드 초크의 간단한이 import tokenize import cStringIO def tok_untok(src): f = cStringIO.StringIO(src) return tokenize.untokenize(tokenize.generat
    python tokenize 2011-01-19

    4열

    4답변

    Tokenizer 효율성 질문

    프로젝트의 컴파일러 프론트 엔드를 작성 중이며 소스 코드를 토큰 화하는 가장 좋은 방법을 이해하려고합니다. 1) 모든 토큰을 읽어 토크 나이 : bool Parser::ReadAllTokens() { Token token; while(m_Lexer->ReadToken(&token)) { m_Tokens->push_bac
    c++ parsing compiler-construction tokenize 2011-01-19

    1열

    3답변

    문자열에서 정보를 토큰 화/추출하는 가장 좋은 방법

    MySQL 데이터베이스에 삽입 할 특정 형식으로 수신하는 날짜 - 시간을 변환하려고합니다. 이 프로그램은 C++로 작성되었으며 다음과 같은 솔루션이 작동하지만 엄청나게 비효율적이라고 생각합니다. 입력은 다음과 같습니다 월 11월 8일 17시 41분 23초 0000 2010 원하는 출력 형식은 다음과 같습니다 YYYY-MM-DD HH : MM : SS 그래서
    c++ string datetime tokenize 2011-01-20

    0열

    1답변

    Objective-C에서 HTTP 메시지의 토큰 화 스트림

    NSData 개체에 여러 HTTP 응답 또는 요청이 함께 연결되어 있습니다. 이 요청/응답 스트림을 개별 CFHTTPMessageRef 개체로 토큰 화하는 가장 효과적인 방법은 무엇입니까? 내 현재의 접근 방식은 그때이 특정 요청과 관련된 신체의 길이를 결정하기 위해 Content-Length 헤더의 값을 잡고있는 시점에서 CFHTTPMessageIsHea
    objective-c macos libcurl tokenize cfhttp 2011-01-24
최근 질문