时光如白驹过隙，巴顿到了上学的年龄，他和尼塔得回洛杉矶的家了。当外公告知他们这个消息时，他们伤心地哭了。这块牧场给了他们太多的回忆，他们实在舍不得离开这里，离开慈爱的外公，离开朝夕相处的伙伴们。兄妹泪人一般踏上了归家的路。
巴顿有一个明星梦。他家附近有家商店，每年夏季总要在它的橱窗里放上一个身着橄榄球队服的人体模特。随着年龄的增长，成为一名身着这种紫白相间运动服的球队队员成了当时巴顿生活中最崇高、最神往的目标。
父母不在时，巴顿经常偷偷溜出去到供儿童游戏的沙土场上练橄榄球，当然必须得把妹妹尼塔带上，否则她会向母亲告密。在场外，尼塔是巴顿唯一的啦啦队，但巴顿的表现却非常差劲，常常被压在冲撞挤压的人堆底层。玩棒球时，巴顿总是三击不中而出局，或接不住飞来的好球而大丢颜面。一次，巴顿正在第二垒，有一个球直冲他飞来，可他全然不知。所有的人都看着他，认为他会接住这个球，可他却只是干站在那里。球在他身后落地，所有的人都大叫道：“噢，真差劲！”
回家的路上，尼塔无精打采地跟在巴顿后面，“哥哥，我对你快要失去信心了。”巴顿肺差点儿气炸了。他发誓，终有一天也要成为球场上的明星，为自己挽回名誉。
为了使巴顿兄妹能尽快适应新的生活环境，父亲总是尽可能在繁忙公务中挤出时间，陪儿子和尼塔玩耍，带他们去钓鱼、划船、骑马、练习射击。装扮成军人冲冲打打是孩子们最喜欢的游戏。巴顿后来回忆说：“尼塔扮成少校，我则当一个列兵。我还以为列兵比少校官大呢！”
父亲每天早晨向他们敬礼，然后带他们去后面的树林里进行军事游戏。巴顿是当然的指挥官。父亲则成了他的贴身参谋，在虚拟的战斗中为他讲解如何行军布阵；在战斗的关键时刻要如何保持己方队型；也教给他如何构筑堡垒。父亲在弗吉尼亚军事学院学习到的军事知识确立了他在儿子心目中的地位。对于巴顿的提问，父亲总是有问必答。很快巴顿在军事作战方面得到的知识远较同龄人多出许多。
父亲还为巴顿削了一把木剑，他整日别在腰上，威风十足，感觉较几年前在外公的牧场上手持马鞭又威风许多。总之，少年时期的军事熏陶使巴顿对军事产生了浓厚的兴趣，为他日后步入军校打下了一个坚实的基础。
晚上，巴顿与妹妹坐在父亲身边，有时干脆一边一个坐在父亲的大腿上，听父亲为他们讲祖先们的故事。即使有些故事已经讲了不止一遍，巴顿听起来仍是津津有味、聚精会神，不自觉地进入情节，仿佛自己亲身经历一样。
巴顿十分崇拜祖先，为自己那颇有名气的家系而感到骄傲。因此在他幼年时就形成了一种优越感，坚信其祖先是弗吉尼亚的绅士，出身高贵，具有贵族的理想和抱负，是天生的领导人，负有领导他人的义务与责任。他相信自己就是祖先能力、意志、信心和理想的继承人，领导他人是自己义不容辞的责任，自己理应成为一个伟大的统帅和将军。对于巴顿来说，家族的力量是神圣的、伟大的和压倒一切的。它经常激励巴顿奋发向上，建功立业。“为家族争光”成为巴顿事业上的动力和支柱。
而这一切的形成，应该说父亲起了很大的催化作用。他知道父亲每天事务繁忙，不喜欢户外生活，只是因为自己的缘故才不厌其烦地陪他们兄妹玩耍，因此他更加敬爱父亲。向父母道晚安时，他总是调皮地使劲吻一吻爸爸，而对妈妈却不敢这么放肆，母亲对他和尼塔总是很严厉。
父母在巴顿身上顷注了极大的爱心。在巴顿很小的时候，他们就发现巴顿虽聪明伶俐，但在发音和拼写上却有缺陷，经常出现发音不准和拼写错误的现象。现代医生认为这种现象为“阅读失常症”。对此小巴顿感到很苦恼，沉默寡言，很少说话，唯恐遭到人们的嘲笑。
巴顿父母深知这是一种慢性病，只能慢慢地调治，不能操之过急。他们总是尽可能是挤出时间在家中陪着巴顿，以绵绵的长辈之爱温暖他、启发他，帮助他克服心理障碍。
巴顿到了入学的年龄，父母担心同学们会嘲笑他，因此决定不送他上学，专门请家庭教师教他文化课，并请教练来指导他锻炼身体，以排除外界干扰，使他能够集中精力学习。晚饭后，父亲还要将巴顿兄妹俩唤到身边，为他们抑扬顿挫地朗读，以此来有意识培养巴顿兄妹的阅读和表达能力。事实证明，巴顿父母的做法有助于他克服心理障碍，而且效果十分明显。父母遂决定送他上学。