movimento relativo

Na teoria da relatividade restrita, temos que qualquer objeto que se move com velocidade próxima a velocidade da luz, em relação a determinado referencial terá uma dilatação do tempo! No paradoxo dos irmãos gêmeos, o gêmeo na nave se distância de seu irmão no referencial terra com velocidade próxima a C, porém o irmão aqui na terra de acordo com o movimento relativo se afasta do gêmeo na nave com a mesma velocidade!! Por que a dilatação do tempo é considerada só para o irmão na nave?