我家在县城,老公家在乡下,周六日他不用上班,我一周只休息一天,一到周六他就回乡下丢我一个人在家!我们的新房刚装修好,之前都在我娘家住,那时候他说我们房子没弄好他周六想回老家,可是现在房子弄好了,他也还是坚持每周回去,我该怎么办?