Ed
há 3 semanas
Para responder a essa pergunta, precisamos entender como os modelos de linguagem de larga escala (LLMs) processam textos. Esses modelos geralmente não analisam o texto em frases completas ou parágrafos, mas sim em unidades menores que facilitam a interpretação e a geração de linguagem. Analisando as alternativas: A) Caracteres Unicode - Embora os caracteres sejam uma unidade de texto, não são a unidade principal utilizada pelos LLMs para processamento. B) Frases completas - Os LLMs não processam textos em frases completas, mas sim em partes menores. C) Sentenças - Semelhante às frases, as sentenças não são a unidade básica de processamento. D) Parágrafos - Parágrafos são unidades muito grandes para o processamento inicial. E) Tokens - Esta é a unidade correta, pois os LLMs dividem o texto em tokens, que podem ser palavras, partes de palavras ou até mesmo caracteres, dependendo do modelo. Portanto, a alternativa correta é: E) Tokens.