Na aula 5 foi apresentado o uso do método word_tokenize(texto) da biblioteca NLTK. Este método realiza a tokenização do texto colocado como argumen...

Na aula 5 foi apresentado o uso do método word_tokenize(texto) da biblioteca NLTK. Este método realiza a tokenização do texto colocado como argumento deste método. Sobre a tokenização, é correto afirmar que:
A É a criação de uma estrutura de dados do tipo lista com cada palavra e pontuação como um elemento desta lista, com repetições, gerando um token para cada palavra ou pontuação do texto, excluindo-se os espaços em branco e caracteres especiais como “ ” e “
”.
B É a criação de uma estrutura de dados do tipo lista com cada palavra e pontuação como um elemento desta lista, com repetições, gerando um token para cada palavra ou pontuação do texto, excluindo-se os espaços em branco e caracteres especiais como “ ” e “
”.
C É a criação de uma estrutura de dados do tipo lista com as palavras reduzidas aos seus radicais, excluindo-se palavras repetidas, pontuações e caracteres especiais como “ ” e “
”.
D É a criação de uma estrutura de dados do tipo lista com as palavras reduzidas aos seus radicais, incluindo todas as palavras repetidas, pontuações e caracteres especiais como “ ” e “
”.
E É a criação de uma estrutura de dados do tipo dicionário com as palavras como chaves e a contagem de suas ocorrências como o valor, excluindo-se caracteres especiais como “ ” e “
”.
A
B
C
D
E