Sobre o fragmento de texto citado, “essa rotina devolve zero quando chega ao fim da sequência de entrada, de modo que os valores restantes ficam di...

Sobre o fragmento de texto citado, “essa rotina devolve zero quando chega ao fim da sequência de entrada, de modo que os valores restantes ficam disponíveis para a identificação dos tokens”.

LANGLOIS, T. Compiladores: da teoria à prática. Rio de Janeiro: LTC, 2018. p. 143. 

Analise as alternativas a seguir e selecione a única correta.

• O token também é conhecido como componente da sintaxe.
• O Lex, como utiliza as regras gramaticais, consegue analisar os tokens do Yacc.
• O token é um segmento de texto e/ou símbolo que não pode ser manipulado por analisadores sintáticos.
• Os tokens estão nas linguagens de programação e são enviados a analisadores léxicos.
• Os tokens são representações numéricas das strings utilizadas para simplificar o processamento.