“史记”这个词的概念，原本是泛指历史书，尤其是多用以指先秦的史书。汉朝人大都是这么叫的。如《六国年表》说：“秦既得意，烧天下《诗》、《书》，诸侯史记尤甚。”《太史公自序》说：“自获麟以来四百余载，诸侯相兼，史记放绝。”汉朝以后也还有人偶尔这么用，如晋朝杜预所作的《春秋序》说：“《春秋》者，鲁史记之名也。”如此等等。在这些地方，“史记”的含义都略同于今天的所谓“史籍”。
司马迁的著作在西汉以至东汉中期，都是称作《太史公书》、《太史公记》，或者简称《太史公》。如《太史公自序》说：“凡百三十篇，五十二万六千五百字，为《太史公书》。”司马迁自己是这样称呼的。《汉书杨恽传》说：“恽始读外祖《太史公记》。”《汉书艺文志》六艺春秋类有《太史公》百三十篇，东汉初的班固是这样称呼的。《论衡超奇》说：“长生作《洞历》十篇，与《太史公》表纪相似类也。”又说：“班叔皮续《太史公书》百篇以上。”当时的王充也是这样称呼的。
“史记”是从什么时候成了司马迁这部历史和文学巨著的专称的呢？清朝梁玉绳说：“《史记》之名，当起于叔皮父子，观《汉书五行志》及《后汉书班彪传》可知。”(《史记志疑》)日人泷川资言也以此说为是。这个说法是不能成立的。《汉书五行志》说：“后楚有白公之乱，陈乘而侵之，卒为楚所灭。史记夏后氏之衰，有二龙止于夏廷。”这里的“史记”二字是指根据历史记载，不是书名。而作为书名的，在《艺文志》里明明是《太史公》。至于《后汉书班彪传》，那是刘宋时人范晔作的，根本不能作为汉朝有此说法的凭据。
多数人说，“史记”成为司马迁著作的专称是魏晋以后的事。这个说法又似乎太晚了。我认为“史记”成为司马迁著作的专称，是开始于东汉后期。据《东海庙碑》：“阙者，秦始皇所立，名之秦东门阙，事在《史记》。”
按，此碑立于汉桓帝永寿元年(155)。又，《执金吾丞武荣碑》说：“阙绩传讲《孝经》、《论语》、《汉书》、《史记》、《左氏》、《国语》，广学甄微，靡不贯综。”按，此碑立于汉灵帝建宁(168—171)年间。又，蔡邕《独断》说：“四代狱之别名，唐虞曰士官，《史记》曰‘皋陶为理’。”按：蔡邕死于汉献帝初平三年(192)。这些都是见于汉末文字记载的，有不可辩驳的说服力。
到魏晋时期，当然就更多了，例如《三国志王朗传》记载王肃对魏明帝说：“司马迁记事，不虚美，不隐恶，刘向、扬雄服其善叙事，有良史之才，谓之实录。汉武帝闻其述《史记》，取孝景及己本纪览之，于是大怒，削而投之。”《张裔传》说张裔“治《公羊春秋》，博览《史》、《汉》”。《三国志》记的是魏、蜀、吴事，作者陈寿是西晋人，说明到三国时代《史记》作为司马迁著作的专称，已经流行得很广泛、很普遍了。