法律分析：如果仅是用来灌溉是不违法的的，地下水也是属于国有资源，根据我国水法规定，地下取用水资源的单位和个人，应当按照国家取水许可制度和水资源有偿使用制度的规定，向水行政主管部门或者流域管理机构申请领取取水许可证，并缴纳水资源费，取得取水权。但是，家庭生活和零星散养、圈养畜禽饮用等少量取水的除外。
法律依据：《中华人民共和国水法》
第四十八条 直接从江河、湖泊或者地下取用水资源的单位和个人，应当按照国家取水许可制度和水资源有偿使用制度的规定，向水行政主管部门或者流域管理机构申请领取取水许可证，并缴纳水资源费，取得取水权。但是，家庭生活和零星散养、圈养畜禽饮用等少量取水的除外。
实施取水许可制度和征收管理水资源费的具体办法，由国务院规定。
第六十九条 有下列行为之一的，由县级以上人民政府水行政主管部门或者流域管理机构依据职权，责令停止违法行为，限期采取补救措施，处二万元以上十万元以下的罚款；情节严重的，吊销其取水许可证:
（一）未经批准擅自取水的；
（二）未依照批准的取水许可规定条件取水的。