ANTRL 3 문법이 입력 소스 코드의 일부를 생략했습니다.

Question

문법을 테스트하기 위해 this ANTLR 3 grammar과 ANTLRWorks를 사용하고 있습니다.

하지만 입력 텍스트의 일부가 생략 된 이유를 알 수 없습니다.

이 문법을 다시 작성하고 AST/CST에서 소스 파일 (입력)의 모든 요소 (lparen, keywords, semicolon, ..)를 표시하고 싶습니다.

모든 것을 시도했지만 성공하지 못했습니다. ANTLR 경험이있는 사람이 나를 도울 수 있습니까?

구문 분석 트리 :

Answer 1

나는 semic 규칙에 범위를 좁힐 관리했습니다 :

/* 
This rule handles semicolons reported by the lexer and situations where the ECMA 3 specification states there should be semicolons automaticly inserted. 
The auto semicolons are not actually inserted but this rule behaves as if they were. 

In the following situations an ECMA 3 parser should auto insert absent but grammaticly required semicolons: 
- the current token is a right brace 
- the current token is the end of file (EOF) token 
- there is at least one end of line (EOL) token between the current token and the previous token. 

The RBRACE is handled by matching it but not consuming it. 
The EOF needs no further handling because it is not consumed by default. 
The EOL situation is handled by promoting the EOL or MultiLineComment with an EOL present from off channel to on channel 
and thus making it parseable instead of handling it as white space. This promoting is done in the action promoteEOL. 
*/ 
semic 
@init 
{ 
    // Mark current position so we can unconsume a RBRACE. 
    int marker = input.mark(); 
    // Promote EOL if appropriate 
    promoteEOL(retval); 
} 
    : SEMIC 
    | EOF 
    | RBRACE { input.rewind(marker); } 
    | EOL | MultiLineComment // (with EOL in it) 
    ; 

그래서, EVIL 세미콜론 삽입 공격을 다시!

나는 정말로 확신하지 못하지만,이 mark/rewind 호출이 동기화되지 않고 있다고 생각합니다. 실제 일치를 위해 분기 선택 및에 대한 규칙을 입력하면 @init 블록이 실행됩니다. 실제로 많은 표시가 있지만 청소하지는 않습니다. 하지만 왜 그렇게 파스 트리를 뒤죽박죽인지 모르겠다.

semic 
@init 
{ 
    // Promote EOL if appropriate 
    promoteEOL(retval); 
} 
    : SEMIC 
    | EOF 
    | { int pos = input.index(); } RBRACE { input.seek(pos); } 
    | EOL | MultiLineComment // (with EOL in it) 
    ; 

훨씬 간단하고 mark/rewind 메커니즘을 사용하지 않습니다

어쨌든, 여기에 동일한 규칙의 작업 버전입니다.

하지만 catch가 있습니다. 구문 분석 트리의 semic 규칙은 닫는 중괄호 앞에 세미콜론을 삽입 할 경우 자식 노드가 }입니다. i-- 뒤에 세미콜론을 제거한 다음 결과를 확인하십시오. 이를 감지하고 코드에서 처리해야합니다. semic은 ; 토큰을 포함하거나 EOL (이 시점에서 세미콜론이 자동으로 삽입되었음을 의미)을 포함해야합니다.