法律分析：如果说自己的土地被对方征用了三年的，而且对方还没有进行使用的话，一般来说是不可以进行撤回的，因为这个不是属于地承包出去的情况，如果是承包出去的话，两年的时间就可以收回来了。
法律依据：《中华人民共和国土地管理法》
第三十七条 非农业建设必须节约使用土地，可以利用荒地的，不得占用耕地；可以利用劣地的，不得占用好地。禁止占用耕地建窑、建坟或者擅自在耕地上建房、挖砂、采石、采矿、取土等。禁止占用永久基本农田发展林果业和挖塘养鱼。
第三十八条 禁止任何单位和个人闲置、荒芜耕地。已经办理审批手续的非农业建设占用耕地，一年内不用而又可以耕种并收获的，应当由原耕种该幅耕地的集体或者个人恢复耕种，也可以由用地单位组织耕种；一年以上未动工建设的，应当按照省、自治区、直辖市的规定缴纳闲置费；连续二年未使用的，经原批准机关批准，由县级以上人民政府无偿收回用地单位的土地使用权；该幅土地原为农民集体所有的，应当交由原农村集体经济组织恢复耕种。