自同济大学成立以来，学校重视档案管理，早期由专人负责。1960年，文书档案室成立，作为校党委办公室的一部分。1984年9月，科技档案室也随之设立，隶属于校长办公室。
1987年6月10日，同济大学档案馆正式成立，整合了原有的文书和科技档案室，由当时学校的秘书长领导。1988年，秘书长编制被取消，改由分管校长直接领导。档案馆作为正处级机构，兼具职能管理和科学文化事业机构的双重职能，负责全校各类档案的集中统一管理，对档案工作进行全面规划、组织、指导和监督。
1996年4月，档案工作管理委员会成立，由校领导和各部处负责人组成，进一步强化了档案管理的组织结构。各部门由专人负责立卷，并配备了兼职档案员，他们大多数具备初、中级专业技术职称。档案馆定期进行业务培训，确保档案工作的顺利进行，并形成了以档案馆为核心的档案管理网络。
1997年，同济大学档案馆因其出色的档案管理，被国家档案局认定为科技事业“国家一级档案管理”单位，这标志着其在档案管理领域的显著成就。
1998年，学校增设了校史、校志研究室，挂靠在档案馆下，但在2007年9月，该机构被撤销。随着2000年上海铁道大学与同济大学合并，原上海铁道大学的综合档案室并入同济大学档案馆，进一步扩大了档案馆的规模和职责范围。