这个负不负责任要看你的行为：
1、你是否有对你媳妇虐待行为
《婚姻法》第四十三条规定，实施家庭暴力或虐待家庭成员，受害人有权提出请求，居民委员会、村民委员会以及所在单位应当予以劝阻、调解，对正在实施的家庭暴力，受害人有权提出请求，居民委员会、村民委员会应当予以劝阻；公安机关应当予以制止。
如果你存在有以上行为，你媳妇外出，是你犯罪在先，如果她起诉你，你是犯法的。
2、要看出去打工，是不是你媳妇的意愿。
《婚姻法》第十五条规定，夫妻双方都有参加生产、工作、学习和社会活动的自由，一方不得对他方加以限制或干涉。
如果你媳妇要外出打工，你是不可以限制和干涉的，但你可以和她一起去，也可以定期去看望她。
3、从起初她走了，你找回来她又被家人抢走后，我个人认为，里面你应该存在一些问题，比如你可能对她不好，也有可能是你的工作无法养活一家人，她们认为生活质量不好，所以外出挣钱，希望家庭更好一些。
总的来说，她们没有什么不当的违法行为，这里面如果你想让她回来，可以找第三方，比如居委会出面协调一下，看什么原因，分析好原因以后，才能确定。
温馨提示：答案为网友推荐，仅供参考