李世民与李元吉这兄弟两的关系可以说是一波三折，刚开始他们之间的也是还好的，毕竟他们是一母同胞的兄弟，虽然父母都不喜欢李元吉，因为他实在长得太丑了，不过李世民并没有对李元吉表现的很厌恶，而且李元吉自小在军营中长大，又善于使用兵器，曾经在李世民军中待过一段时间，但是李世民治军严明，李元吉又天性散漫，不服管教，所以他常常感到不自在，相比之下，太子李建成与李元吉更为亲近。
玄武门之变
后来李渊派李元吉去李世民那里学习打仗，但实际上李渊怕李世民拥兵自重，李元吉是去监视他的，李世民知道后与李元吉起了矛盾。
有一次，李元吉与李世民的手下尉迟敬德比武，李世民偏向自己的下属，这让李元吉更加怨恨李世民。李世民的秦王府在很多地方都胜过李元吉的齐王府，朝中的大臣都明显偏向李世民，对他这个齐王却满不在乎，这引起了心胸狭窄的李元吉的妒忌，他常常在父亲李渊面前说李世民的坏话，挑拨李渊与李世民之间的父子之情。
更让李元吉不能忍受的是他的妻子齐王妃杨氏竟然与李世民有私情，公然给自己戴绿帽子，他与李世民之间的关系彻底恶化。李元吉一气之下投靠太子李建成，并积极帮李建成出主意除掉李世民。李世民先下手在玄武门设下埋伏杀死了李建成，李元吉见状连忙用弓箭企图勒死李世民，被李世民的部下杀死。