有一种理论认为，常青藤联盟的名称起源可追溯至1937年，当时体育新闻记者Stanley Woodward在《纽约报》中提出了这一术语。他观察到美国最古老和最顶尖学府的建筑上，常春藤植物繁茂，这使得“常春藤”成为了这些精英学校的象征。另一种理论则较为古老，源自早期被称为“四联盟”的运动组织，成员包括哥伦比亚大学、哈佛、普林斯顿和耶鲁等名校。这个组织在保留学术传统的过程中，其英文名称“Four League”在书写时被转换为罗马数字“Ⅳ League”。巧合的是，“Ⅳ”的发音与“Ivy”相同。
尽管确切的命名过程尚无定论，但到1954年，"常青藤联盟"这一名称正式被采纳，并沿用至今。这个名称不仅代表了这些学校的学术卓越，也成为了美国高等教育界一个著名的团体，即常青藤团体董事会议（The Council of Ivy Group Presidents）。
常青藤指常绿木质藤本植物，常春藤原产欧洲、亚洲和北非。它对环境的适应性很强。喜欢比较冷凉的气候，耐寒力较强，可入药。