李渊晚年的生活实在不好，宫殿缺少修缮，生活受到限制，甚至让李世民的臣下都有些看不见了。
玄武门迁后，李渊以李世民为太子，监督国家，不久便退位。退位当初待遇不错，但仍然住在皇宫的正宫太极宫。李世民在太子的住处东宫处理政务。但是，李世民明显对自己的内心不满。所以，我开始不断地对父亲“拍脸”。
首先，废除了李渊在位时的大部分政策。这个也可以。接着，李世民在公众场合批评李渊武德年间的朝政。例如，“武德之际，公开了商品的贿赂，纪纲混乱。”“武德的时候，政刑错误，官制混乱…”这些在历史书上明确记载着。更进一步评价了李渊最信赖的宰相佩寂，这完全不是坏事。他都被指责赖着李渊干坏事。这些对父亲不加修饰的批评一定暗示着李渊先生。
所以，李渊也相知，贞观三年四月，“主导”提出，希望从太极宫移居到弘义宫居住，理由是那里有“山林胜景，雅好的…”是的。其实弘义宫原来是李世民秦王府。里面没有什么好景色。当然，规模也比太极宫小得多。比皇太子东宫还小。
李渊转入弘义宫后，改名为大安宫。那个大安宫的环境怎么样？不行，因为有御史马周的审计书。贞观六年，马周上发表评述说，“臣伏见大安宫位于宫城以西，其壁宇宫阙制度为方紫极，尚属卑小。
臣伏是东宫皇太子的宅邸，位于城中，大安至尊所在城外。太上皇的游心道素、志存清俭，违背陛下的厚意，必须重视人，倾听夷朝见及四方观。臣营雉鸡建门楼，务由高显组成，称颂万方之望，大孝昭在天下。”大安宫在宫城外显得很卑小，但东宫还在城中，所以想修缮大安宫以明确皇帝的孝道。结果，李世民即使不驳回也不接受。放置不管。
另外，李渊生性活泼，武德年间公务繁忙，战争不断，他到处去打猎。但是，自从成为太上皇以来，就没有出过宫门。那年夏天，李世民去九成宫避暑。马周又上书了一次。
只有臣太上皇是高龄的，陛下必须早晚看吃饭，早晚起床。现在幸宫去京都三百多里。一定要到早晚。上皇的情和思念，想马上见到陛下，怎么去才好呢？现在开车来避暑，太上天皇还留有热所。陛下把凉爽的地方赶出去，保护了洁净的道路。我不担心你会偷窃。
太上皇已经是高龄，皇上应该昼夜左右相伴。现在跑得这么远，太上皇怎么办？如果更重的话就呆在后面，你自己去凉快的地方避暑，把太上皇留在了炎热的地方。这是孝道吗？李世民依旧不理，之后贞观7年5月和贞观8年3月，李世民又巡游了两次巡幸九成宫，都没有带李渊同行。