Os modelos de palavras são geralmente treinados em grandes corpora de texto, e usam estatísticas sobre as probabilidades de ocorrência de palavras ...

Isso mesmo! Os modelos de palavras são treinados em grandes conjuntos de texto, chamados de corpora, e utilizam estatísticas para prever quais palavras podem ocorrer em determinado contexto. Algoritmos como Markov Chain e N-gram são comumente utilizados para implementar esses modelos. Eles são muito úteis em tarefas como correção ortográfica, sugestão de palavras em teclados virtuais e até mesmo na tradução automática.