东汉末年,关羽在家乡,因路见不平,仗义杀人,为了避罪逃亡到涿县(今河北涿州)居住,结识了刘备。当时爆发了张角领导的黄巾大起义,汉朝的远支宗室刘备正在涿县,募兵镇压黄巾起义军,关羽参加了刘备领导的军队。同郡人张飞,也参加了这支队伍。刘、关、张三人感情融洽,情同手足,他们在一个桃园中结拜为兄弟,史称“桃园结义”。
刘备组织的这支军队,得到当地富商大贾张世平、苏双等人的资助,发展很快。关羽和张飞成为刘备的左膀右臂。刘备因为依靠这支军队镇压黄巾起义有功,被提拔为安喜(今河北安国西北)的县尉(主管一县的军事)。
中平六年(189年),汉灵帝死,外戚何进辅助少帝继位。宦官杀掉何进,与外戚争权。继之,凉州豪强董卓率兵进入京城洛阳,废少帝,立献帝,专断朝政。第二年,关东(一般泛指函谷关或潼关以东地区)的官僚地主推袁绍为盟主,联兵讨伐董卓。刘备率兵参加了讨伐董卓的战争,关羽跟随刘备,积极参加战斗,作战十分勇敢。初平二年(191年),董卓估计自己力不能敌,在大肆烧杀掳掠之后,退出洛阳。关东各支地主武装的联盟,于是宣告解体,彼此互相攻击,从此形成军阀混战的局面。刘备因为力量弱小投靠幽州的公孙瓒,被任为平原相。他以关羽、张飞为别部司马,分统部曲。
后来,刘备又依附于徐州牧陶谦。不久,陶谦死去,他继任为徐州牧。建安元年(196年),淮南军阀袁术,对刘备占有徐州不满,勾结被曹操打败又投靠刘备的吕布,打败了刘备。刘备往投曹操,后曹操率军亲征吕布,吕布被杀。
关羽在曹操东征吕布时,在曹军中多次立有战功,被拜为中郎将(地位仅次于将军)。
建安四年(199年),曹操派刘备截击袁术,刘备乘机反曹。借曹操徐州刺史车胄出城相迎的机会,关羽一刀劈死车胄,张飞砍下车胄的首级,招降了曹军。刘备派关羽驻守下邳(今江苏邳州南),执行太守的职权,自己驻守小沛(汉代沛县的别称,今江苏沛县)。
建安五年(200年),曹操发大军攻打刘备,小沛很快失守,刘备落荒而逃,投奔袁绍。下邳被围得水泄不通,外无援兵,内无粮草。关羽万般无奈,带领刘备的家眷(刘备的两位夫人,即甘、麋两位夫人)投降了曹操。曹操班师回到许都(今河南许昌东)后,厚待关羽,表奏关羽为偏将军,“三日一小宴,五日一大宴”,并时常赠送金银礼物。但关羽对这些宴请和馈赠从未表示过感谢,只有当曹操把吕布的坐骑追风赤兔马赠送给关羽时,他才向曹操致谢。关羽喜欢阅读兵书古史,通宵秉烛读《春秋》与《左传》。
曹操十分敬佩关羽的武艺和为人,曾派张辽探问关羽是否可留下为曹操效力。关羽爽直地回答说:“我知道曹公待我情意深厚,但是我和刘备有知遇之恩,誓同生死,我绝不能背叛他。我不可能在这里久留,但一定报答曹公的厚恩,然后再走。”张辽回去如实把关羽的话向曹操说了,曹操叹息说:“关羽真是个义士,如果能留下就太好了!”
同年,袁绍派大军进攻曹操,前锋大将是名将颜良,他率军进逼白马(今河南滑县东)。曹操的东郡太守刘延遭到颜良的攻击,连失数员上将,兵士死伤惨重。曹操派大将张辽和关羽出兵白马援救刘延。当两军鏖战时,关羽在千军万马中,疾驰如飞,直插颜良的麾盖之下,连斩数将,挥刀劈杀颜良,斩其首级。
曹军乘势掩杀,袁军溃不成军。“白马之围”解除了,关羽的英名,从此流传天下。周瑜称他为“熊虎之将”,程昱说他是“万人之敌”,陆逊称之为“当世雄杰”。曹操想用高官厚禄留住关羽,他表奏朝廷,封关羽为汉寿亭侯(汉寿,地名;亭侯,侯爵名)。
白马之战以后,袁绍知道关羽在为曹操效劳,就责问刘备。刘备赶快给关羽写信,约他来袁绍处相见。关羽接到信后,禀明了两位嫂嫂,立即准备起程,他封存了曹操历次赏赐的金银珠宝,交还了汉寿亭侯的印绶,这就是历史上所说的“挂印封金”。关羽又写信给曹操辞行,然后率领车马上路,直奔袁绍军中去找刘备,表现了他威武不屈,富贵不淫的气概。曹操的部将提出派兵追回关羽,曹操叹口气说:“彼各为其主,就不要追了。”