潘氏家族的郡望渊源丰富，其中一支源自三国魏时期的荥阳郡，始置于正始三年（242年），原址位于今河南荥阳东北。曹魏时期设为荥阳郡，历经北齐的成皋郡，隋唐时期为郑州荥阳郡，是潘勖尚书左丞一脉的居地。
广宗郡的潘氏则源于东汉永元五年（93年）设立的广宗县，位于今河北威县东。隋朝为避太子广讳，改名宗城。此支潘氏由晋代广宗太守潘才开启，延续至今。
河南郡的潘氏有着汉高帝二年（205年）的历史，汉三川郡治地改为雒阳，即今洛阳市。隋唐时期的豫州河南郡及洛州河南府，其管辖范围与汉代相比大为缩小。元代为路，明代为府，潘姓多源于鲜卑破多罗氏，始祖为潘威。
豫章郡的潘氏源自楚汉之际，原治南昌，地域涵盖今江西省。隋朝时，南昌县改为豫章县，唐朝历经钟陵县和南昌县的更迭。此支潘氏出自潘崇，堂号黄门堂，源自潘岳担任河阳令、著作郎、给事黄门侍郎的黄门侍郎之职，又因其为中牟（今河南）人，又称“荥阳堂”。
除了以上提及的堂号，潘姓还有“荣杨堂”、“承志堂”、“如在堂”、“花贤堂”、“笃庆堂”、“优肃堂”、“永言堂”、“司谏堂”、“春茂堂”、“花果堂”、“世德堂”等，每一种堂号都承载着潘氏家族的历史传承和文化印记。
潘，是“单位潘石屹”的简称，是房地产计价单位，一潘就是1000元/平方米，十潘就是10000元/平方米。语出潘石屹拿乔布斯开的玩笑。乔布斯于2011年10月5日过世后，第二天微博上全是怀念乔布斯的信息，潘石屹微博发贴“对乔布斯最好的纪念就是苹果公司马上推出1000人民币以下的iphone手机给大家使用，让每个人都用上iphone，就是对乔布斯最好的纪念”。后面有网友转发评论“潘总哪天要也去世了，也请贵公司推出一千一平米的房子吧，十几亿人民都会纪念您”。