Questão 10/10 - Natural Language Processing Em se tratando de coleções muito grandes, o que é comum de ocorrer na web, pode ser recomendado reduzir...

Questão 10/10 - Natural Language Processing Em se tratando de coleções muito grandes, o que é comum de ocorrer na web, pode ser recomendado reduzir o conjunto de palavras-chave representativas. Isso pode ser conseguido a partir da eliminação de stopwords (como, por exemplo, artigos, advérbios e preposições). Por que existe este tipo de recomendação, quando analisamos textos muito grandes?

a) Textos da web possuem muitas palavras repetidas e que podem causar um erro probabilístico quando analisamos através de GLCP. Por este motivo, fazemos a eliminação destes termos repetidos, chamados do stopwords.
b) As stopwords são palavras que causam a parada inesperada durante os treinamentos de algoritmos de classificação e de stemming. Por este motivo, devemos retirá-las dos textos quando fizermos estes tipos de análise.
c) Em textos muito grandes existem muitas palavras com pouco sentido semântico e que podem atrapalhar uma análise de contexto. Ao retirarmos palavras que não possuem conteúdo relevante, evidenciamos os sentimentos e significados dos textos.
d) A eliminação de stopwords deve ser realizada apenas em textos da web, por conterem elementos irrelevantes ao entendimento do discurso, como hashtags, marcações HTML, emojis e outros símbolos.
e) Em textos muito grandes, a eliminação das stopwords ajuda a reduzir a quantidade de palavras a serem analisadas, principalmente pela característica repetitiva dos textos de WEB. Mesmo eliminando palavras importantes como substantivos e adjetivos, ainda é possível realizar uma análise destes textos e de forma mais leve, computacionalmente falando.