男友和前妻离婚20年了,他们两人都再婚又都离婚了,他们有一个儿子原本由奶奶带,但奶奶去世了,孩子一个人住,男友前妻现在经常来看孩子,男友和我住在一起,也时不时去看孩子,于是有时他们三人同一套房子,虽然男朋友说他和前妻没有住一张床,但我心里还是很难受,不知我该怎么办?看孩子我能理解,关键是我没法接受他们三人住在一起,我该怎么办?