老人双方都是另一半过世，后面找的，合伙过日子，但一直没领证结婚，前几年，老头牵头在农村盖了个三层的房子，房产证写的是女方儿子的，但建房子的钱都是女方去借的，现在也是女方儿子在还（当时借的都是亲戚的，也没借条，还了也没收据），现在女方想要出来广州给儿子带小孩，但老头各种理由要把女方赶出家门，还说要女方给他几万块钱（说是这一二十年都是住在他家所以要拿这笔钱给他），还说房子是他的，跟女方没任何关系。在这之前，女方儿子跟老头亲儿子（他自己两个儿子）一样平摊赡养费用，请问老头有权阻止女方出来吗？这样的话，对老头还有赡养义务吗？