Não seria considerado pois segundo o códgo penal, tem se a legitima defesa quando in verbis: Art. 25 - Entende-se em legítima defesa quem, usando moderadamente dos meios necessários, repele injusta agressão, atual ou iminente, a direito seu ou de outrem.

Dessa forma quando você repele agressão verbal  com agressão fisica não estará agindo de forma proporcinal, desse modo não estará a luz de legitima defesa que dispoe o artigo 25 do código penal.