按照演义而言，吕布是武艺第一，张飞和关羽都是次于吕布的一档，两人相差不大。
张飞曾经和吕布单挑交战两次。第一次是虎牢关前，张飞脾气急躁，第一个就冲出去了。打了一阵后，关羽上前助战。第二次是在小沛，当时因为张飞抢了吕布的马匹，吕布愤怒叫阵：
布指骂曰：“我辕门射戟，救你大难，你何故夺我马匹？”玄德曰：“备因缺马，令人四下收买，安敢夺兄马匹。”布曰：你便使张飞夺了我好马一百五十匹，尚自抵赖！”张飞挺枪出马曰：“是我夺了你好马！你今待怎么？”布骂曰：“环眼贼！你累次渺视我！”飞曰：“我夺你马你便恼，你夺我哥哥的徐州便不说了！”布挺戟出马来战张飞，飞亦挺枪来迎。
可见，这里由于事情本身是张飞引起的，所以张飞自己冲出去了，这才和吕布打了起来。
整体来看，这两阵之所以张飞来打而不是关羽来打，原因是张飞脾气比较急躁，而关羽相对内敛。这并不足以作为关羽不敢和吕布交锋的证据。
事实上，在三国演义较早的版本嘉靖本《三国志通俗演义》里面，关羽是和吕布有过交锋的。那是在吕布被围困下邳，企图带着女儿突围的时候：
布当先出城，张辽、侯成跟着。将次到玄德寨边，一声鼓响，云长拦住去路，大叫：“休走！”战不十合，布斜刺便走。张飞早引一军来迎。布无心恋战，只要冲路而走。
可见这里，吕布在张辽、侯成跟随的情况下，面对关羽拦路，两人交锋了十回合，吕布无心恋战而走。这里当然不能说关羽胜过了吕布，毕竟吕布目的是赶紧跑路。但至少也不能说关羽不敢和吕布打。
有趣的是，到了清朝毛宗岗修改《三国演义》的时候，作为张飞的粉丝，老毛把这段给改了：
放开城门，布当先出城，张辽、高顺跟着。将次到玄德寨前，一声鼓响，关、张二人拦住去路，大叫：休走！”布无心恋战，只顾夺路而行。
这里把嘉靖本的关羽拦住交战十合，变成了关羽张飞拦住去路，于是无心之中稍微降低了一点关羽的武力表现。毛宗岗其心毒也。