lexical-analysis

1열

3답변

일치하는 숫자를 정규식에서 나중에 평가하는 방법은 무엇입니까? -Lexing Ply가있는 FORTRAN 'H'편집 설명자

Ply을 사용하여 FORTRAN 형식 문자열을 해석합니다. 나는 ... 문제 형태 X H CCCCC의 인 'H' edit descriptor 일치하는 정규 표현식을 쓰는 데 X는 'H 이후에 읽을 문자의 수를 지정 ' Ply는 하나의 정규 표현식으로 토큰을 대조하지만 정규 표현식을 사용하여 위와 같은 작업을 수행하는 데 문제가 있습니다. 나는 뭔가를 찾고

5열

3답변

ANTLR을 사용하여 CommonTokenStream의 토큰 텍스트를 수정하려면 어떻게해야합니까?

저는 ANTLR을 배우고 동시에 현재 프로젝트에 사용하려고합니다. 필자는 코드 덩어리에서 렉서를 실행하여 CommonTokenStream으로 출력 할 수있는 지점에 도달했습니다. 이 작업은 정상적으로 작동하며 원본 텍스트가 적절한 토큰으로 분할되고 있는지 확인했습니다. 이제이 스트림에서 특정 토큰의 텍스트를 수정하고 지금 수정 된 소스 코드를 표시하고 싶습

5열

1답변

Lex/Flex를 사용하는 스캐너의 문자 위치

Lex/Flex에는 문자 스트림의 위치 (파일 시작 부분)에서 토큰이 표시되는 방법이 있습니까? 그것은 문자 위치를 정수로 반환한다는 점을 제외하면 yylineno와 같은 종류입니까? 그렇지 않다면 어떻게해야할까요? 나 자신의 카운터를 유지해야합니까? 감사합니다.

2열

3답변

프로그래밍 언어 사양에서 왜 어휘 분석은 번역 할 수 없습니까?

프로그래밍 언어의 모든 표준 사양에서 왜 어휘 분석/레이아웃을 플러그 인 및 작동 준비가 된 문법으로 직접 변환 할 수 없습니까? 나는 Flex/Bison, Lex/Yacc, Antlr 등과 같은 것들을 위해 그것을 적용하는 것은 불가능할 것이며, 인간이 이해할 수 있도록 읽을 수 있도록 이해할 수 있습니다. 하지만 표준 사양이라면 문법 레이아웃을 복사하여

7열

3답변

단어가 아닌 토큰으로 텍스트의 단어를 인식하는 방법은 무엇입니까?

현재 메일 모음을 파싱하고 메일이나 단어 및 기타 흥미로운 토큰을 가져오고 싶습니다 ("zebra21"또는 "customer242"와 같은 맞춤법 오류나 문자 및 문자 조합 포함). 그러나 "0013lCnUieIquYjSuIA"와 "anr5Brru2lLngOiEAVk1BTjN"은 단어가 아니며 관련성이 없다는 것을 어떻게 알 수 있습니까? 오류를 인코딩하는

1열

4답변

프로그래밍 방식의 구문 분석 및 언어 이해 (영어)

영어 (또는 단지 인간 언어)의 구문 분석 및 이해와 관련된 일부 리소스를 찾고 있습니다. 이것은 분명히 상당히 복잡하고 광범위한 분야의 연구이지만, 누구든지 주제에 대한 연구를 위해 책이나 인터넷 권장 사항이 있는지 궁금합니다. 나는 단어 관계를 그리기 위해 copulas을 검색하는 것과 같은 기본 사항을 알고 있지만 여러분이 추천하는 것은 무엇이든 철저

10열

5답변

파이썬 - 어휘 분석 및 토큰 화

어휘 분석의 세계로 들어가는 첫 번째 벤처이기 때문에 여기에서 발견 과정을 상당히 빠르게 진행할 수 있습니다. 어쩌면 이것은 잘못된 경로 일 수도 있습니다. 먼저, 내 문제를 설명해 드리겠습니다 : 증류기가 약 15 개의 중요한 속성이고 나머지는 거의 생성 할 수없는 매우 큰 특성 파일 (1,000 개의 속성 순)이 있습니다. 변화. 따라서, 예를 들어 :

0열

1답변

텍스트 변환기를 작성하는 방법은 무엇입니까?

내가 쉽게 파싱 할 수있는 텍스트가 있다고 가정 해보십시오. 텍스트와 특수 식별자로 구성됩니다. 구문 분석 후에 텍스트의 텍스트와 특수 식별자에 해당하는 토큰 목록을 얻습니다. 내가 가지고있는 문제는이 토큰 목록에서 다른 형식으로 변환하는 방법입니다. 이 문제에 접근하는 방법을 이해할 수 없습니다. 구문 분석 트리를 만들려고했지만 다음에 수행 할 작업을 이

4열

3답변

PHP로 컴파일하는 메타 언어를 구현하는 가장 좋은 방법

나는 당분간 PHP로 컴파일 할 수있는 메타 언어를 위해 specification/kitchensink에서 작업 해왔다. 이제 그 일을 시작하기를 원합니다. 전에 PHP_Lexergenerator와 PHP_Parsergenerator를 사용하여 작은 DSL을 구현하기 전에 아주 잘 작동했지만 이전에는이 스케일을 빌드하지 않았습니다. 나는 당신이 크게 가

2열

1답변

flex (어휘 분석기)에서 역 참조가 가능합니까?

저는 괄호를 사용하여 참조를 포착 할 수있는 언어로 regexp를 사용했습니다. flex에서 볼 수있는 유일한 것은 yytext 변수입니다. 하지만 내용은 전체 일치 정규 표현식이며 일부만이 아닙니다. 플렉스에서 역 참조를 사용할 수 있습니까? 그렇다면 어떻게 할 수 있습니까? 나는 사람이 그렇지 알고 있다면, 나를 보자 ... 그것이 가능하다고 생각하지