如果您遇到工地不装人货电梯的问题，可以向当地建设、市政或房屋管理等部门进行投诉。具体应该向哪个部门投诉可能因地区而异，以下是一些常见的投诉途径：
城市建设、规划和管理委员会：如果该工地在城市规划范围内，您可以向该部门反映相关问题，并要求相关执法部门进行调查和处理。
市场监督管理局：部分地区的市场监管部门也负责对施工工地进行监管和执法。您可以向该部门反映相关问题，并要求进行检查和处罚。
住房和城乡建设部门：在一些地区，建设部门也负责监管施工工地安全和质量等方面。您可以向该部门反映问题，并要求进行处理。
工程质量监督站：如果工地涉及到重要的公共建设项目，您可以向该部门进行投诉，并要求进行监督和检查。
无论您选择哪种途径，都需要提供详细的投诉信息和证据，以便有关部门能够及时采取措施解决问题。同时，请注意保护自己的安全和合法权益，避免不必要的风险。