孔子有整顿社会、恢复国家盛世的理想，在当时，这样的理想必须通过政权来实现，所以他五十一岁从政，被任用为中都邑(今山东省汶上县西)宰，工作一年，有政绩，升任鲁国的司空(主管工程建筑)；再升任大司寇(主管国家公安和司法)，干了两年，使鲁国治安情况良好；五十五岁时代理鲁国宰相。在这个位置上，他在内政和外交两个方面的工作有声有色。孔子在鲁国主政，既侵犯鲁国篡权的统治者的利益，也引起邻国当政者的恐慌，他们采用进谗言、行贿赂等手段，使鲁定公沉溺声色，不采纳孔子的主张。孔子做官的目的本来是实行自己的政治主张，鉴于理想在鲁国已不可能实现，便辞职不干。他代理宰相只干了三个月。
公元前497年，辞去相位的孔子，带领弟子作周游列国之行，其目的是希望能说服各国国君采用他的政治主张。他先后到过卫、曹、宋、陈、蔡、楚等国，历时十四年。
这十四年的列国行，历尽艰辛。那时的交通工具是马车，木制车轮包一层铁皮，在尘土飞扬的土路和坎坷的山路上颠簸。途中发生过三件大事：一是宋国的一位掌权大夫图谋杀害他；二是在匡地被误认为是另一个人，遭到群众围攻，险些丧命；三是在去陈、蔡的途中断粮七天，从人和学生饿得下不了床。各国对他的态度也有三种：一是表面礼遇，待为上宾，但只是留他当花瓶、作摆设，并不采纳他的政治主张；二是闭门不纳；三是不冷不热，婉言推却。对他的政治设计，没有一个国君纳采。公元前484年，孔子六十八岁，老骨头再颠簸就要散架了。他毕竟是个名人，他的学生说服鲁君，把他接回鲁国。
晚年的孔子投入到整理文化古籍和教学的工作之中。他自述说：“吾自卫返鲁，然后乐正，‘雅’、‘颂’各得其所。”(《子罕》第十五章)他整理已经散佚的《诗》三百篇，又整理编订了《尚书》、《仪礼》、《周易》、《乐》，还编修近代史书《春秋》，用这六种教材来教授学生。那时的文化生产条件相当艰难，老人要伏在矮案上工作。以《易》而论，他“读《易》韦编三绝”(串连竹简的皮绳磨断三次)；以《诗》、《书》而论，他从各地搜集到的散佚而杂乱重复的诗篇和上古文献各达三千篇，他要一一检阅、校勘、去重，“《诗》、《书》、执礼，皆雅言也”，就是用通行的标准语，对方言、土语进行语言规范化的处理，最后编定较完善的传本。此外，还有《礼》、《易》、《乐》、《春秋》四种。那时的书写，是用小刀在竹片上刻字，称竹简，每简八寸长，刻十几个、最多二十几个字，一部书要几百几千片竹简，六部书又是多么大的工作量！
公元前479年，孔子大病七天而逝世，终年七十三岁。