Встроенный Boost-Spirit-Lex для придания токенам имени строки?

0

edit: Я вырвал lexer, так как он не интегрируется с Qi и просто обфускает грамматики (см. здесь).


Мне нужно on_error типы токенов - имя, которое я могу использовать в обработчике on_error в qi. В настоящий момент _4 (qi::on_error<..>(...,std::cout << _4 << std::endl)) placeholder дает мне строку регулярного выражения токена. Мой лексер выглядит следующим образом:

template <typename Lexer>
struct tokens : lex::lexer<Lexer>
{
    tokens()
        : left_curly("\"{\""),
        right_curly("\"}\""),
        left_paren("\"(\""),
        right_paren("\")\""),
        colon(":"),
        scolon(";"),
        namespace_("(?i:namespace)"),
        event("(?i:event)"),
        optional("(?i:optional)"),
        required("(?i:required)"),
        repeated("(?i:repeated)"),
        t_int_4("(?i:int4)"),
        t_int_8("(?i:int8)"),
        t_string("(?i:string)"),
        ordinal("\\d+"),
        identifier("\\w+")

    {
        using boost::spirit::lex::_val;

        this->self
            = 
            left_curly    
            | right_curly 
            | left_paren
            | right_paren
            | colon         
            | scolon
            | namespace_      
            | event             
            | optional           
            | required          
            | repeated
            | t_int_4
            | t_int_8
            | t_string
            | ordinal             
            | identifier         
            | lex::token_def<>("[ \\t\\n]+")   [lex::_pass = lex::pass_flags::pass_ignore];
    }


    lex::token_def<lex::omit> left_curly, right_curly, colon, scolon,repeated, left_paren, right_paren;
    lex::token_def<lex::omit> namespace_, event, optional, required,t_int_4, t_int_8, t_string;
    lex::token_def<boost::uint32_t> ordinal;
    lex::token_def<std::string> identifier;
};
Теги:
lex
lexical-analysis
parsing
boost-spirit

1 ответ

0
Лучший ответ

edit: Я вырвал lexer, так как он не интегрируется с Qi и просто обфускает грамматики (см. здесь).


Вот один хрупкий взломать, чтобы определить, какой токен был пойман механизмом on_error. Проводка этого не понравится: D

template<typename State>
struct error_handler_impl
{
    typedef void result_type;

    State & state;
    error_handler_impl(State & state) : state(state) {}

    template <typename What, typename Iterator>
    void operator()(const std::string & msg,What what, Iterator it) const
    {
        if(boost::get<boost::spirit::utf8_string>(what.value) == state.tok.identifier.definition())
        {
            std::cout << "token type is identifier" << std::endl;
        }
    }
};

state.tok - это объект lexer, через который могут быть доступны определения маркеров.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню