刘表向刘备托付荆州，发生在刘表病逝前。刘备之所以拒绝，表面原因是刘备受到刘表厚待，不忍心夺人所爱，其实那都是《三国演义》的立场，真正的原因有三个，一是刘表托荆州不是真心，二是刘备根本没办法镇得住荆州豪族势力，三是荆州的实力难以抗曹，守不住。
建安十二年，刘表病重，托付荆州之事，大致发生在这一年底或者第二年去世前，《魏书》记载：
“表病笃，讬国於备，顾谓曰：‘我儿不才，而诸将并零落，我死之后，卿便摄荆州。’备曰：‘诸子自贤，君其忧病。’或劝备宜从表言，备曰：‘此人待我厚，今从其言，人必以我为薄，所不忍也。’”
感情因素：刘备受刘表厚爱，不忍心夺人所爱
袁绍被曹操打败后，刘备失去了在河北生存的依靠，他仓皇逃命期间，连老婆都不要了，关羽也成了曹操的俘虏。刘表就是在这种情况下，对刘备张开了温暖的怀抱：
“曹公既破绍，自南击先主。先主遣麋竺、孙乾与刘表相闻，表自郊迎，以上宾礼待之，益其兵，使屯新野。”
刘备自建安六年，到刘表去世的建安十三年，整整在荆州生活了七八年。期间，刘表对待刘备以上宾之礼，还给了他部分兵权，让他镇守新野。
以刘备的处境，刘表没有把他捆送给曹操，就已经是大恩大德了，刘备心生感恩之意，也是人之常情。假如刘备接受刘表所托，那就是鸠占鹊巢，这个道德枷锁刘备背不起。
心理因素：刘表言不由衷的试探，刘备心知肚明
三国时期，东汉政权其实已经名存实亡，地方州牧事实上都成了军阀，官职继承都采用父子相传，俨然独立王国。
刘表有四个儿子，长子刘琦和次子刘琮的继承人之争，闹了好几年，但不管怎么说，都不应该落到刘备头上。刘表自己的理由是，儿子们都不成器，荆州名将凋零，他们都承担不了大人，只有刘备有能力守得住荆州大业。
不过，刘表的这话很言不由衷，怎么听都像是对刘备的试探。
其一，刘表一直对次子刘琮疼爱有加，因此不惜牺牲法定继承人长子刘琦。可见刘表就不是个理性的人，感情用事。请问他凭什么对客居的刘备，产生那么大的好感，连最疼爱的儿子都要放在其次？
其二，荆州到底是谁的荆州？假如是个人的，就没有理由给刘备，假如是国家的，为何非要给刘备而不是曹操？曹操毕竟代表了朝廷，他的话就是汉献帝的圣旨，刘表凭什么不听从？把荆州给谁，才能利益最大化，这个结论很难得出吗？
其三，刘表对刘备的态度，怎么看都不是一条心。刘备在荆州期间，不断结交当地豪杰，这件事引得刘表很不高兴：
“荆州豪杰归先主者日益多，表疑其心，阴御之。”
刘表一直暗地里防着刘备！一句话点名了刘备在刘表心目中的地位：你就是一名走投无路的客，留你是让你为我服务的，不是让你反客为主！
所以，刘备在荆州，生活待遇不错，政治待遇很微妙，刘表给他布满了雷区！因而刘表病重期间的话，其实就是一种试探，假如你野心侧漏，我一定要干掉你，免得你将来生事！
这一招被刘备学会了，多年后，他躺在白帝城，也对诸葛亮说了相同的话。
政治因素：荆州豪族势力不站在刘备这一边，他坐不住
刘备对刘表的言不由衷看得很透，这还不是最主要的，老谋深算的刘备，早就看出了自己的另一大短板：荆州豪族势力不站在他这一边，即便刘表真心将荆州让给他，他也镇不住。
俗话说强龙不压地头蛇，荆州地盘豪族势力非常强大，当年刘表被任命为荆州刺史，他竟然被当地豪族阻隔，不得上任：
“初平元年，长沙太守孙坚杀荆州刺史王叡，诏书以表为蒯州刺史。时，江南宗贼大盛，又袁术阻兵屯鲁阳，表不能得至 。”
刘表依靠蒯氏和蔡氏家族的支持，用一场鸿门宴，诛杀了当地豪族五十五人，这才入主襄阳，又通过近二十年的经营，才将荆州、交州千里疆域控制在手。
地方豪族势力有个特点，他们通过联姻、师生关系、上下级关系等等，经年累月，形成复杂的利益关系网，外力势力根本无法渗透。刘表之所以能突破这层关系，就是由于他与蔡氏、蒯氏、诸葛氏、张氏、黄氏等家族，形成了利益链结构。
刘备没有这个条件！
一来他是河北涿郡人，不是荆州坐地户，两眼一抹黑。二来刘备的出身就是寒门士族，与东汉末年的豪门士族集团没有交集。事实上，豪门士族集团对寒门士族的立场是鄙视的，排斥的，寒门士族的出路只能依附豪门士族。