解放军开始军衔筹备工作的同时，朝鲜战争爆发，中国介入战争，导致筹备工作暂停。也正是在朝鲜战争期间，军衔制的重要性表现出来，例如在战场上中朝军队协同作战，但朝鲜人民军有军衔，而由解放军改编而成的中国人民志愿军无军衔，给战时确定指挥关系带来诸多不便，也使志愿军司令员兼政治委员彭德怀感到建立军衔制的必要性。后来还有人举板门店谈判时的例子，指出中美谈判时，美军有军衔而志愿军没有，为了“平起平坐”，中方只能临时给谈判代表们安上“军衔”，叫某某“将军”、某某“上校”，这种尴尬局面的出现也显示了中国建立军衔制以利于国际交往的紧迫性。

1951年8月，彭德怀给毛泽东发去电报，表示：“规定职务识别，在战斗中已感必要。”而设立军衔的前提是对军官进行评级，同年10月，中央军委指示全军开展干部评级工作。1952年4月，彭德怀回国治病，中央决定让他留在北京主持军委日常工作，主抓包括评定军官级别、建立军衔制在内的军队改革工作，当年评级工作基本完成。

1952年冬，解放军评级工作结束后，总干部管理部开始讨论军衔的等级设置，部长罗荣桓、副部长赖传珠和徐立清请总参谋部、总政治部和苏联顾问卡苏林等一同研究，主要依照苏联军衔，设计出数套方案。同年11月26日，罗荣桓代表总干部管理部将初步方案上报中央军委，除个别军衔外，基本与苏联一致。在初步方案中，“中华人民共和国大元帅”已经出现并位于最高位，与“苏联大元帅”在苏联军衔体系中位于最高位的情况相同。

但是卡苏林反对初步方案中设立“准上将”、“准尉”两军衔，他也反对中国拟设立的“准将”制度，认为苏军没有这三种军衔，中国如设立这三种军衔会对中苏两军交往产生不便。他还建议中国不要像苏联那样设立兵种元帅，因为“兵种元帅必须要求能掌握兵种技术（如空军元帅应当曾担任过飞行员），并对兵种建设有功勋者方可授予”，而当时的“中国还不具备此条件”。莫斯科方面也发来电报支持卡苏林的看法，中方最终妥协，对初步方案加以修改。

1953年1月9日，中央军委发布《关于实施军衔制度准备工作的指示》，提出拟于当年7月在全军实行军衔制度，并在军衔初步方案的基础上起草了《中华人民共和国解放军军衔条例（草案）》，此草案将“上将”、“准上将”改为“大将”、“上将”，依然没有设立“准将”，而参照朝鲜等国的经验在少将和上校之间增设“大校”等等，但仍然保留“兵种元帅”和“准尉”，不过“中华人民共和国大元帅”依然在列并仍然位于最高位。1月20日，总干部管理部下发《关于军衔鉴定工作的指示》，规定了军衔鉴定的内容、基本要求和方法。但是由于种种原因，军衔条例并未实行，而中央军委决定延迟实行军衔制度。为此，同年9月上旬，负责军队日常工作的彭德怀再次向毛泽东提出实行军衔制的必要性。11月12日，中共中央政治局会议通过1954年实施军队改革的决议，确定解放军实行包括军衔制在内的四大制度。

11月13日，彭德怀在军委例会上转达了中央政治局关于实行军衔制的决定。几天后，彭德怀又主持召开了实行包括军衔制在内的四大制度的准备工作会议。同年底至1954年初召开的全国军事系统高级干部会议再次明确提出实行军衔制。

1954年2月17日，中央军委成立了由代总参谋长聂荣臻为主任的军衔实施委员会。9月，重新成立了以毛泽东为主席的中共中央军委。10月11日，中央人民政府人民革命军事委员会总干部管理部改名为中国人民解放军总干部部。10月21日，第三次中共中央军委会议确定1955年开始实行军衔制。同时，根据罗荣桓的提名，中共中央军委任命宋任穷为总干部部第一副部长，与赖传珠和徐立清两位副部长一起协助部长罗荣桓负责授衔工作。

1955年1月14日和15日，彭德怀主持召开中共中央军委座谈会，会议经过讨论研究，取得了一致意见，即授予现任军委主席和军委委员元帅军衔。1月16日，彭德怀和罗荣桓联名将授予元帅军衔的名单和意见初步方案报告给毛泽东和中共中央，而元帅军衔分为中华人民共和国大元帅和中华人民共和国元帅，其中大元帅军衔授予时任军委主席毛泽东。也有来源称最初的报告没有明确授予毛泽东大元帅军衔，但根据大元帅的军衔授予标准，这一授衔人选也只有作为中国人民解放军全军统帅的毛泽东才有资格。

1955年1月23日，中共中央军委发布了《关于评定军衔工作的指示》。1月28日，解放军总政治部印发了《关于实施军官服役条例，实行军衔制度的宣传要点》。

1955年2月8日，第一届全国人民代表大会常务委员会第六次会议通过了《中国人民解放军军官服役条例》，并由时任中华人民共和国主席毛泽东予以批准公布，其中第二章第七条设立“中华人民共和国大元帅”为最高军衔，属于元帅中的第一等级，其下为元帅的第二等级“中华人民共和国元帅”，并且根据苏联顾问卡苏林的建议取消了“兵种元帅”的设立，故而元帅只分两级。该条例第九条第一款明确规定：“对创建全国人民武装力量和领导全国人民武装力量进行革命战争、立有卓越功勋的最高统帅，授予中华人民共和国大元帅军衔。”这样就在立法程序上完成了“中华人民共和国大元帅”军衔的设立。

根据《中国人民解放军军官服役条例》关于“中华人民共和国大元帅”的授予条件，当时只有身为中华人民共和国武装力量最高统帅，时任中共中央主席、国家主席、中共中央军委主席的毛泽东符合。但由于毛泽东本人拒绝接受该军衔，所以直至1965年《中国人民解放军军官服役条例》废止为止，该军衔一直空缺。

其实早在1954年，毛泽东就透露出他不愿意接受大元帅军衔的想法。当时解放军总参谋部军务部副部长李平被临时调到军衔办公室，负责全军实行军衔制的有关事宜，该办公室订做了一批样品军服放在中南海小礼堂内，佩戴上不同的军衔标识供中央领导审定，其中就有一套精心设计的大元帅服。根据李平的回忆，当年秋季的一天，毛泽东、朱德、刘少奇、周恩来、彭德怀等领导人来到小礼堂，李平等就陪同他们参观样服。当李平引领毛泽东来到穿着大元帅服的木制模特面前时，李平介绍说是大元帅服，毛泽东却对模特弹了弹烟灰，道：“大元帅？你靠边站吧！”当时李平本以为毛泽东是在开玩笑，但最后毛泽东并没有穿这件大元帅服，也没有接受大元帅军衔。李平后来认为，毛泽东当时让大元帅服“靠边站”的表态是在暗示不会接受大元帅军衔。

由于中华人民共和国的军衔借鉴苏联的经验，而苏联设立“苏联大元帅”军衔授予最高领导人斯大林，故而中国也设立中华人民共和国大元帅军衔准备授予最高领导人毛泽东。1955年初步的授衔方案提交中共中央讨论时，人们向毛泽东讲述了斯大林被授予大元帅军衔的情况，毛泽东却说：“苏联有的，我们不一定非要照搬。”

为了让毛泽东接受大元帅军衔，全国人大常委会专门开会进行了讨论，参与讨论的委员们认为，毛泽东在建军建国过程中功劳最大，所以要授大元帅军衔，就像斯大林大元帅那样，而且毛泽东率领的部队打的仗比斯大林更多，时间更长。而主持会议的全国人大常委会委员长刘少奇知道毛泽东不愿授大元帅的态度，表示对此“不能作结论”。又有人提出，只要人大常委会作出决定，毛泽东个人不得不遵从决议，刘少奇却说：“人大常委会可以作决定，但毛主席是国家主席，还需要他下命令才行呀，他不下命令怎么办？”刘少奇建议各位与会者当面说服毛泽东，会上不作决定。最终，与会者没有说服毛泽东接受大元帅军衔。

1955年8月下旬，彭德怀、罗荣桓、宋任穷、赖传珠到中南海向毛泽东和其他中央领导人汇报军衔评定方案和授予勋章工作及其进展情况。听完汇报后毛泽东说：“根据国际国内的经验，我这个大元帅就不要了，让我穿上大元帅的制服，多不舒服嘛！到群众中去讲话、活动也不方便。”毛泽东还建议在地方工作的领导干部不要评军衔，在场的刘少奇、周恩来、邓小平等也纷纷表示不要军衔。最后，中共中央和中央军委经过考虑，认为毛泽东已任中共中央主席和中华人民共和国主席，加之当时又是和平时期，不要军衔也有道理，所以最终决定不授予他大元帅军衔。

毛泽东等中央领导人带头不授衔的示范举动使得兼任军职的地方领导干部的授衔等难题迎刃而解，推动了授衔工作的顺利进行，就如当时具体负责评定军衔工作的时任解放军总干部部第一副部长宋任穷回忆的：“以毛主席为首的一些中央领导同志主动提出不授衔，对全军干部是个很大的教育，也解决了评衔工作中的许多矛盾。”而毛泽东不授大元帅军衔更被很多人赞为“高风亮节”、“虚怀若谷”、“高瞻远瞩”、“深思熟虑”，是“从大局和长远考虑”。

1961年9月，英国陆军元帅蒙哥马利第二次访华，受到了毛泽东的接见。谈话中蒙哥马利询问毛泽东为何没有军衔，毛泽东回答说：“他们要给我军衔，我不要。”蒙哥马利又问：“主席不想当元帅吗？”毛泽东回答：“帅、将、校统统都不要。”

1965年5月22日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制度的决定》，据此，5月24日，中华人民共和国国务院公布了《关于中国人民解放军新的帽徽、领章和部分军装样式的决定》，规定自当年6月1日起实行，标志着解放军实行10年的军衔制被废除，“中华人民共和国大元帅”军衔也连带着被废止。

1988年7月1日第七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》，恢复了军衔制度。条例取消了大元帅、元帅、大将、大尉以及准尉军衔，首次实行上将军衔分级制度，上将军衔分为一级上将、上将两个等级，一级上将是全国最高军衔。

1994年5月12日第八届全国人大常委会第七次会议对《中国人民解放军军官军衔条例》进行了修改，取消了一级上将军衔，全国最高军衔为上将。

虽然毛泽东拒绝接受大元帅军衔，但1954年上半年大元帅礼服早已经制作出来，它是由解放军总后勤部指定其所属天津军需工厂（三五二二工厂）的女工用纯手工制作的。中华人民共和国大元帅的肩章样式仿效了苏联大元帅肩章，肩章由上端的中华人民共和国国徽图案和下端的元帅星徽组成。大元帅肩章肩章面为金黄色，边为红色，长14厘米，宽5.8厘米，与中华人民共和国元帅肩章的样式基本一致。但大元帅肩章上的元帅星徽周围比元帅肩章多了一圈环绕的银白色松枝，而且大元帅肩章上的两个国徽是纯金的，星徽、松枝是用银线绣的，肩章面板上那一层金黄色是用纯铜丝拉出丝来再镀金的。大元帅服的帽徽、星徽、符号等等也都是用纯铜，金黄色的地方用的是镀金，银白色的地方用的是镀银，再描漆。大元帅服胸前缀着金黄色的绶带和流苏，袖口和衣领绣有金黄色的边饰，裤子的边线处，缀有金黄色和鲜红色的条纹，都用纯金的丝线绣缝。礼服完工后，一些女工还去了北京，受到了毛泽东的接见。

毛泽东在中南海看到了这套大元帅礼服，但让它“靠边站”，始终没有同意接受大元帅军衔，也没有穿过大元帅礼服，大元帅肩章后来一直摆放在三五二二工厂的陈列室内。