Analise as alternativas a seguir e selecione a única correta. Sobre o fragmento de texto citado, 'essa rotina devolve zero quando chega ao fim da s...

Analise as alternativas a seguir e selecione a única correta. Sobre o fragmento de texto citado, 'essa rotina devolve zero quando chega ao fim da sequência de entrada, de modo que os valores restantes ficam disponíveis para a identificação dos tokens'.


O analisador léxico sempre tem a função de identificar os tokens nas linguagens de programação e enviá-los a analisadores sintáticos.
O token também é conhecido como componente da sintaxe.
O token é um segmento de texto e/ou símbolo que não pode ser manipulado por analisadores sintáticos.
Os tokens são representações numéricas das strings utilizadas para simplificar o processamento.