O Natural Language Toolkit, ou mais comumente NLTK, é um conjunto de bibliotecas e programas para processamento simbólico e estatístico de linguagem natural para inglês escrito na linguagem de programação Python. Qual processo podemos aplicar a esse framework para dividir uma frase em palavras ou tokens individuais
A: N-gramas
B: Tokenização
C: Lematização
D: stemização
E: Acentuação
Ed
ontem
A resposta correta para dividir uma frase em palavras ou tokens individuais usando o NLTK é: B: Tokenização A tokenização é o processo de dividir um texto em unidades menores, chamadas de tokens, que podem ser palavras, frases ou outros elementos.