我在工作的地方认识了他,他说也留意了我很久,他知道我有老公,孩子,(知道跟我老公关系几年一直不好)他也要我一定要维持自己的婚姻,(我也不会为他离婚,因为有小孩)他给我的感觉很好,虽然年龄要小些,可他的处事能力很强,(他是我上级),比较稳重,我也跟他说过,我们不可能有结果,可他说还是喜欢我,跟我在一起的感觉很好,有时候,我也觉得跟他在一起很开心,很幸福,跟老公在一起没有的感觉,我也认为这样不应该,可是,我现在觉得离不开他,我该怎么办?