Nunca regularizamos a guarda do meu filho, como proceder?

Bom, tive um relacionamento de 7 anos onde tivemos um filho juntos, durante 4 anos dentro desse relacionamento, eu fiquei em casa com o meu filho, cuidando dele e inclusive amamentando ele no peito.
Quando deu esses 7 anos de relacionamento, eu decidi terminar e confesso que assim que terminei e começamos a revezar os dias de ficar com o nosso filho, fui um pouco relapsa, joguei bastante responsabilidade pra ele, porque eu ava muito estressada e cansada demais, pois fiquei 4 anos cuidando dele praticamente sozinha.
Passaram uns 8 meses e decidimos de boca manter uma "guarda compartilhada", onde ele fica aqui 3 dias na semana e lá 4 dias.
Eu nunca concordei com isso, mas falei ok porque ele sempre me ameaçou tira-lo de mim, pois tem um filho desembargador e falou que se caso eu entrasse na justiça, ele iria tira-lo de vez de mim, confesso que tenho muito medo dele fazer isso, pois minha familia é humilde e ele possui uma estabilidade financeira melhor que a minha.
Já recebi inclusive uma msg da mãe dele me ameaçando e me caluniando com várias inverdades, mas pelo fato dele ter esse tio desembargador, tenho muito medo e nunca entrei na justiça.

Só que eu criei coragem e quero sair dessa sombra de medo que ele impos sobre mim, quero a guarda do meu filho como uma mãe deveria ter e não somente 3 dias na semana como ele exigiu.
Como posso proceder? O que eu tenho que fazer?
E qual a chance de eu conseguir a guarda?

Detalhe, ele tem um estabelecimento noturno que abre de terça a sábado, das 18h às 2h, então nesses 4 dias que ele pega a criança (sexta, sábado, domingo e segunda), ele não fica com a criança na metade dos dias, pois quem dorme com o mesmo é a avó dele. Também acredito que eles falam mal de mim para meu filho, que já me contou que a vó dele fala que eu bato nele e essas coisas e eu não bato nele, graças a Deus ele tem 6 anos e consciencia sobre isso, mas ele chora muito lá na casa do pai pra vir pra minha casa, e acredito que seja por isso que eles acabam falando mal.

Só preciso de uma resposta, por favor.
Ajudem uma mãe desesperada!