公元219年，刘备自立为汉中王，立刘禅为王太子。公元223年，刘备在白帝城托孤于诸葛亮，一个月之后，刘备病逝，享年六十三岁，随后刘禅在成都继位称帝，史称“汉怀帝”。
不过，刘备一共有四个儿子，分别是刘封、刘禅、刘永与刘理，刘禅排行第二，更重要的是有“扶不起的阿斗”之说，一直传言刘禅能力低下。既然如此，为何刘备不传位其他儿子，而一定要传给刘禅呢？其实，可能不是刘备乐意，而是无奈之举！
刘备第一个儿子刘封，能力很强，但可惜并非亲生，而是养子。
公元201年，刘备投靠荆州刺史刘表，时年41岁，因为当时刘备未有子嗣，于是收罗侯寇氏之子、长沙郡刘姓人家的外甥为养子，当时刘封大约10岁，所谓“刘封者，本罗侯寇氏之子，长沙刘氏之甥也。先主至荆州，以未有继嗣，养封为子。”
刘封20余岁时，“有武艺，气力过人”，率军随同诸葛亮、张飞、赵云等溯流西上进攻益州，所过之地战无不克。益州平定后，刘备任命刘封为副军中郎将。
但关羽在北伐曹魏的襄樊之战中，多次要求刘封起兵相助，刘封不从。后来又侵凌孟达，迫其降魏。孟达与魏徐晃共袭刘封，并劝刘封投降，刘封不降，又遭部下叛变，败归成都。
公元220年，刘封回到成都之后，刘备责备他欺凌孟达，又不救援关羽。诸葛亮考虑到刘封刚烈勇猛，刘备死后可能难以制服驾驭，于是劝刘备借此机会除掉刘封，于是刘备赐刘封死，让他自尽。刘封叹息说：“我后悔不听孟子度的话。”刘封自杀之后，刘备非常伤心，为刘封哭泣。
从诸葛亮的话中，不难看出即便刘封未死，刘备也不会传位给刘封。
根据史书记载，刘备第一个亲生儿子是刘禅，但笔者认为，此前应该还有儿子，只是失散或死了。
公元184年，黄巾起义爆发，乱世到来，24岁的刘备开始了一生奔波。但按照汉朝规定，女子超过15岁不嫁人，每年都要向官府缴纳一笔费用，所以汉朝鲜有剩女一说。史书上的刘备是“身长七尺五寸，垂手下膝，顾自见其耳。少语言，善下人，喜怒不形於色。好交结豪侠，年少争附之”，颇受欢迎的一个人物，因此24岁的刘备应该早已娶妻，只是有没有生子史书没有记载。
在此后奔波的日子里，刘备并不缺少妻妾，比如194年刘备驻扎小沛时，迎娶了甘夫人；糜芳的妹妹麋夫人，就在公元196年嫁于刘备。但直到207年，47岁的刘备才有第一个儿子，以及至少两个女儿。