东汉末年，关羽在家乡，因路见不平，仗义杀人，为了避罪逃亡到涿县（今河北涿州）居住，结识了刘备。当时爆发了张角领导的黄巾大起义，汉朝的远支宗室刘备正在涿县，募兵镇压黄巾起义军，关羽参加了刘备领导的军队。同郡人张飞，也参加了这支队伍。刘、关、张三人感情融洽，情同手足，他们在一个桃园中结拜为兄弟，史称“桃园结义”。
刘备组织的这支军队，得到当地富商大贾张世平、苏双等人的资助，发展很快。关羽和张飞成为刘备的左膀右臂。刘备因为依靠这支军队镇压黄巾起义有功，被提拔为安喜（今河北安国西北）的县尉（主管一县的军事）。
中平六年（189年），汉灵帝死，外戚何进辅助少帝继位。宦官杀掉何进，与外戚争权。继之，凉州豪强董卓率兵进入京城洛阳，废少帝，立献帝，专断朝政。第二年，关东（一般泛指函谷关或潼关以东地区）的官僚地主推袁绍为盟主，联兵讨伐董卓。刘备率兵参加了讨伐董卓的战争，关羽跟随刘备，积极参加战斗，作战十分勇敢。初平二年（191年），董卓估计自己力不能敌，在大肆烧杀掳掠之后，退出洛阳。关东各支地主武装的联盟，于是宣告解体，彼此互相攻击，从此形成军阀混战的局面。刘备因为力量弱小投靠幽州的公孙瓒，被任为平原相。他以关羽、张飞为别部司马，分统部曲。
后来，刘备又依附于徐州牧陶谦。不久，陶谦死去，他继任为徐州牧。建安元年（196年），淮南军阀袁术，对刘备占有徐州不满，勾结被曹操打败又投靠刘备的吕布，打败了刘备。刘备往投曹操，后曹操率军亲征吕布，吕布被杀。
关羽在曹操东征吕布时，在曹军中多次立有战功，被拜为中郎将（地位仅次于将军）。
建安四年（199年），曹操派刘备截击袁术，刘备乘机反曹。借曹操徐州刺史车胄出城相迎的机会，关羽一刀劈死车胄，张飞砍下车胄的首级，招降了曹军。刘备派关羽驻守下邳（今江苏邳州南），执行太守的职权，自己驻守小沛（汉代沛县的别称，今江苏沛县）。
建安五年（200年），曹操发大军攻打刘备，小沛很快失守，刘备落荒而逃，投奔袁绍。下邳被围得水泄不通，外无援兵，内无粮草。关羽万般无奈，带领刘备的家眷（刘备的两位夫人，即甘、麋两位夫人）投降了曹操。曹操班师回到许都（今河南许昌东）后，厚待关羽，表奏关羽为偏将军，“三日一小宴，五日一大宴”，并时常赠送金银礼物。但关羽对这些宴请和馈赠从未表示过感谢，只有当曹操把吕布的坐骑追风赤兔马赠送给关羽时，他才向曹操致谢。关羽喜欢阅读兵书古史，通宵秉烛读《春秋》与《左传》。
曹操十分敬佩关羽的武艺和为人，曾派张辽探问关羽是否可留下为曹操效力。关羽爽直地回答说：“我知道曹公待我情意深厚，但是我和刘备有知遇之恩，誓同生死，我绝不能背叛他。我不可能在这里久留，但一定报答曹公的厚恩，然后再走。”张辽回去如实把关羽的话向曹操说了，曹操叹息说：“关羽真是个义士，如果能留下就太好了！”
同年，袁绍派大军进攻曹操，前锋大将是名将颜良，他率军进逼白马（今河南滑县东）。曹操的东郡太守刘延遭到颜良的攻击，连失数员上将，兵士死伤惨重。曹操派大将张辽和关羽出兵白马援救刘延。当两军鏖战时，关羽在千军万马中，疾驰如飞，直插颜良的麾盖之下，连斩数将，挥刀劈杀颜良，斩其首级。
曹军乘势掩杀，袁军溃不成军。“白马之围”解除了，关羽的英名，从此流传天下。周瑜称他为“熊虎之将”，程昱说他是“万人之敌”，陆逊称之为“当世雄杰”。曹操想用高官厚禄留住关羽，他表奏朝廷，封关羽为汉寿亭侯（汉寿，地名；亭侯，侯爵名）。
白马之战以后，袁绍知道关羽在为曹操效劳，就责问刘备。刘备赶快给关羽写信，约他来袁绍处相见。关羽接到信后，禀明了两位嫂嫂，立即准备起程，他封存了曹操历次赏赐的金银珠宝，交还了汉寿亭侯的印绶，这就是历史上所说的“挂印封金”。关羽又写信给曹操辞行，然后率领车马上路，直奔袁绍军中去找刘备，表现了他威武不屈，富贵不淫的气概。曹操的部将提出派兵追回关羽，曹操叹口气说：“彼各为其主，就不要追了。”