男人离开小三会痛苦吗