Absolutamente NO.
Quien te ha dicho semejante tontería? La virginidad no te afecta físicamente de ninguna forma.
Cómo mucho se rompe el himen (una membranita que está en la entrada de la vagina), si es que todavía se tiene en ese momento (puede romperse por muchas cosas a parte del sexo).