7) O Processamento de Linguagem Natural (PLN) é a subárea da Inteligência Artificial responsável por estudar a capacidade e as limitações de uma má...
7) O Processamento de Linguagem Natural (PLN) é a subárea da Inteligência Artificial responsável por estudar a capacidade e as limitações de uma máquina de entender a linguagem dos seres humanos. Para poder realizar essa modelagem, são necessários pré-processamentos que abstraem e estruturam a língua, deixando apenas aquilo que representa uma informação relevante. Uma das etapas desse processo compreende a normalização. Uma tarefa que pode ser realizada dentro do processo de normalização é denominada de tokenização
💡 1 Resposta
Ed 
A tokenização é uma etapa importante no processo de normalização do Processamento de Linguagem Natural (PLN). Ela consiste em dividir um texto em unidades menores, chamadas de tokens. Esses tokens podem ser palavras individuais, frases, símbolos ou até mesmo caracteres. A tokenização ajuda a estruturar a linguagem e a identificar as unidades de significado em um texto, facilitando assim o processamento e a compreensão por parte da máquina.
Faça como milhares de estudantes: teste grátis o Passei Direto
Esse e outros conteúdos desbloqueados
16 milhões de materiais de várias disciplinas
Impressão de materiais
Agora você pode testar o
Passei Direto grátis
✏️ Responder
Para escrever sua resposta aqui, entre ou crie uma conta
Outros materiais
Perguntas relacionadas
Materiais relacionados
Compartilhar