Разбор ANTLR MismatchedTokenException

Не все верно:

1

Вы положили токен WS на канал HIDDEN, что делает их недоступными для правил парсера. Таким образом, все теги WS внутри вашего правила body неверны.

2

_ ( ваше последнее редактирование удалило проблему рекурсии left-, но я все равно сделаю это с ней извините, ваш другой вопрос имеет левое рекурсивное правило (expr), поэтому я оставлю эту информацию здесь) _

ANTLR является LL parser -generator, поэтому вы не можете создавать рекурсивные грамматики left-. Остается рекурсивным:

expr
  :  term term operator
  ;

term
  :  INT
  |  ID
  |  expr
  ;

потому что первый term внутри правила expr мог бы соответствовать самому правилу expr. Как и любой парсер LL, созданный парсер ANTLR не может справиться с левой рекурсией.

3

Если вы исправите проблему WS, в правиле body появится следующее сообщение об ошибке:

(1/7) Decision can match input such as "INT" using multiple alternatives

Это означает, что синтаксический анализатор не может "видеть", к какому правилу принадлежит токен INT. Это связано с тем, что все ваши альтернативы body можно повторить нулем или более раз, а также expr и nested. И все они могут соответствовать INT, о чем жалуется ANTLR. Если вы удалите * следующим образом:

body
    :   nested
    |   var
    |   get
    ;

// ...

expr
    :   term (term operator)
    ;

nested
    :   expr (expr operator)
    ;

ошибки исчезнут (хотя это все равно не приведет к правильной обработке вашего ввода!).

Я понимаю, что это может все еще казаться неопределенным, но это не тривиально объяснить (или понять, если вы новичок во всем этом).

4

Чтобы правильно учитывать рекурсивный expr внутри expr, вам нужно оставаться в стороне от левой рекурсии, как я объяснил в # 2. Вы можете сделать это вот так:

expr
  :  term (expr operator | term operator)*
  ;

который все еще неоднозначен, но это в случае описания постфиксного выражения с использованием грамматики LL, неизбежного AFAIK. Чтобы решить эту проблему, вы можете включить глобальный откат в разделе options { ... } грамматики:

options {
  language=Python;
  output=AST;
  backtrack=true;
}

Demo

Небольшая демонстрация того, как анализировать рекурсивные выражения, может выглядеть так:

grammar star;

options {
  language=Python;
  output=AST;
  backtrack=true;
}

parse
  :  expr EOF -> expr
  ;

expr
  :  (term -> term) ( expr2 operator -> ^(operator $expr expr2) 
                    | term operator  -> ^(operator term term)
                    )*
  ;

expr2 
  :  expr
  ;

term
  :  INT
  |  ID
  ;

operator 
  :  ('*' | '+' | '/' | '%' | '-')
  ;

ID
  :  ('a'..'z' | 'A'..'Z') ('a..z' | '0'..'9' | 'A'..'Z')*
  ;

INT
  :  '0'..'9'+
  ;

WS
  :  (' ' | '\n' | '\t' | '\r') {$channel=HIDDEN;}
  ;

Тест script:

#!/usr/bin/env python
import antlr3
from antlr3 import *
from antlr3.tree import *
from starLexer import *
from starParser import *

def print_level_order(tree, indent):
  print '{0}{1}'.format('   '*indent, tree.text)
  for child in tree.getChildren():
    print_level_order(child, indent+1)

input = "5 1 2 + 4 * + 3 -"
char_stream = antlr3.ANTLRStringStream(input)
lexer = starLexer(char_stream)
tokens = antlr3.CommonTokenStream(lexer)
parser = starParser(tokens)
tree = parser.parse().tree 
print_level_order(tree, 0)

выводит следующий результат:

-
   +
      5
      *
         +
            1
            2
         4
   3

что соответствует следующему AST: