在中国古代，尚书这个官职是在处于不断演变之中的。所以，想要知道尚书是一个什么级别的官职，要结合不同的历史背景来说。
在秦汉，尚书是少府的属官，主要负责为皇室起草文书，传达命令。而少府是为皇室打理内库和生活事务的机构，所以尚书属于内官，而且人微言轻，地位不高。
到汉武帝时代，汉武帝为削弱丞相等外朝官的权力，便设置内朝来巩固皇权，尚书遂得到重用，负责处理天下章奏，起草诏书，政令执行等，跻身朝廷中枢之列。
稍后，朝廷政务逐渐繁忙，尚书权力日大，遂开始分曹治事，设置五曹尚书，各曹以尚书令为首，负责政令的执行。但由于尚书令仍属于内朝官员，权力大而品级低，所以从西汉末年开始，往往以三公和大将军录尚书事。
到魏晋时期，尚书令、尚书等官职已彻底脱离内廷，成为朝廷政务官职，尚书台亦改名为尚书省权力日益增大。曹魏另设中书省，与尚书省分掌权力，西晋沿袭魏制，以尚书省总揽政务，另置中书、门下二省以分其权。但这一时期，权臣、重臣录尚书事的情况依然很多，像蜀汉丞相诸葛亮就曾录尚书事。
南北朝时期，三省体制逐渐形成。北魏孝文帝改革，仿照魏晋建立三省体制，以尚书省总领庶政，置尚书令，下设各曹，置尚书，同时又以中书、门下二省分其权，皇权超然其上，该制度被延续至隋唐。
唐宋两代，三省六布制逐渐完善。尚书省最高长官为尚书令，设吏、户、礼、兵、刑、工六部，各部置尚书分管其事。但尚书令一职常常虚置，以副职尚书仆射代管，而后中书省和门下省合并为中书门下，三省长官合署办公，位同宰相，后又有同中书门下三品、同中书门下平章事、参知政事等职务出现，以分三省长官之权力。
元朝曾短暂设尚书令主事，位同宰相，但时置时废，时间不长。明朝初年，朱元璋废相，六部置尚书，分管其事，直接对皇帝负责。清朝延续明制，仍设六部，最高长官为尚书，副职为侍郎，满汉各一员。除此之外，清朝还以大学士来管部，称部管大学士，位同宰相，权力很大。
总得来说，尚书一职经历了从皇家内侍官职向朝廷政务官职的转变，实质上体现了皇权逐渐扩张以削弱和替代相权的过程。