私了，就是私下调解解决纠纷。这种情况，是建立在双方当事人平等自愿基础上的，调解结果，具有法律效力。也就是说，您们私了的结果，是具有法律效力的，不能再私自单方变更。
鉴定轻微伤，违反了《治安管理处罚法》，应追究治安责任，没有违反《刑法》，不追究刑事责任。
所以说，因为是治安纠纷，是可以私了的，所以，您们的私了程序是合法的，是法律认可的。但是，您不能再要求返还20万。
如果鉴定结果是轻伤或重伤，那就违反了《刑法》，构成故意伤害罪，如果是这样，是不允许私了的，只能依法走公安局侦查、检察院提起公诉、法院判决的刑事诉讼程序。这样，您的20万是可以追回的，因为您们的私了程序是无效的。
追问关键是伤情不严重，他要我20万后推托不去鉴定，并且我们的协议条款有一项就是他可以帮我销案，未能销案退还我20万