我爱上一个有家庭的男人,我为了他离婚,他也很爱我,但是他离婚特别不容易,她老婆拿孩子来威胁他,当初他和她老婆结婚也是她老婆以死相逼的,也是他心软才和他老婆结婚的,但他确实不爱她,他也怕父母受不了因为父母身体不好,但我们彼此真的很相爱,我们该怎么办