据《三国志 蜀书 先主传》记载，陶谦死后刘备在陈登和麋竺等人的拥戴下当上了徐州牧，不久之后吕布带着部众来到了徐州被刘备收留。当时割据淮南的袁术一直觊觎徐州派兵前来攻打刘备，刘备只得带着主力军队前去阻挡袁术，史书记载：“袁术来攻先主，先主拒之於盱眙、淮阴。”
《英雄记》里记载：“留张飞守下邳，引兵与袁术战於淮阴石亭，更有胜负。”这里说的是刘备的确是留下了张飞驻守徐州的治所下邳，而他则带兵和袁术在淮阴石亭展开了拉锯战。这里我们就要回到一个问题那就是致使张飞丢掉徐州的那位关键人物曹豹，他是不是被张飞逼反的？
首先《三国志 蜀书 先主传》的记载是：“下邳守将曹豹反，间迎布。”意思就是下邳守将曹豹暗中勾结吕布谋反。而《英雄记》的记载是：“陶谦故将曹豹在下邳，张飞欲杀之。豹众坚营自守，使人招吕布。”这句话的意思是张飞要杀曹豹，于是曹豹带着部将坚守营地并派人去联系吕布。
联系一下《三国志 蜀书 先主传》和《英雄记》的记载，推测是曹豹早在之前就和吕布暗中有联系，后来张飞镇守徐州期间发现了曹豹和吕布之间的猫腻，于是便想要除去曹豹这个奸细。但是张飞的想法不小心被曹豹探知，曹豹于是一不做二不休便公然反叛勾结吕布拿下了下邳城。
经过上面的分析大致可以推出曹豹和吕布是和张飞打了一场硬仗，张飞由于兵力不足受到了内外夹击从而丢掉了徐州。并不像小说所说的那样，曹豹偷偷放吕布大军进城打的张飞猝不及防。这里还有一个疑问就是张飞有实力抵挡住吕布和曹豹的联手吗？这里我们就要看下张飞当时面临的是什么情况了，首先刘备和关羽已经带出了相当一部分兵力前去阻挡袁术，张飞作为留守后方的守将他手上的兵肯定不会太多。其次我们来看下吕布和曹豹的实力，吕布我们都很熟悉他手下的军队一向骁勇善战，而且这个时候他手下还有高顺、张辽这样的大将其实力就更不容小觑。而曹豹呢？史书记载他原本就是陶谦的旧部将，在徐州也是有相当实力的。不那吕布应该也不会娶他的女儿为妻子，从史书记载“豹众坚营自守，使人招吕布”这句话来看，曹豹手下的人数想必也不少。
所以张飞守徐州面临的情况就是主力军队被刘备调到了前线和袁术作战，而他守徐州的这部分人还有一些叛变了他，加上他遇到的对手是骁勇善战的吕布军团，从力量上对比来看张飞的确是处于劣势。
本回答被网友采纳