A forma correta de responder a essa pergunta é a letra "E) Capitalização". As outras opções são formas válidas de fazer tokenização. A tokenização é o processo de dividir um texto em unidades menores, chamadas de tokens. Esses tokens podem ser palavras, frases, símbolos ou outras unidades, dependendo do objetivo da análise. As opções A, B e C são formas comuns de fazer tokenização, enquanto a opção D se refere a uma biblioteca de processamento de linguagem natural que pode ser usada para tokenização.
Para escrever sua resposta aqui, entre ou crie uma conta
Processamento de Linguagem Natural
Compartilhar