軍委秘書長一職不算是我軍的常設重要職務，它在1954年9月30日增設，由副總參謀長兼總后部長、政委黃克誠擔任。它是中央專為黃克誠增設的，便于黃協(xié)助彭德懷主持軍委日常工作。

2個月后，毛主席、鄧小平和后來被授予元帥軍銜的十人，共十二人組成軍委會。軍委會成立后，毛主席召開第一次軍委會議，正式把軍隊工作交給常務副主席彭德懷主持，重大問題則由軍委開會決定。

可黃克誠的軍委委員身份，還是1956年11月，跟粟裕、陳賡、譚政、肖勁光、王樹聲、許光達、肖華、劉亞樓、洪學智一同獲得的。但是，之前的黃克誠雖不是軍委委員，軍委工作卻比大多數(shù)軍委委員做的多。

被提為軍委秘書長的同時，黃克誠還新增國防部第一副部長的職務——國防部長就是彭德懷。當時國防部和總參謀部之間存在權(quán)責不明的問題，兩大軍事部門的頭頭彭德懷和粟裕，也是合作得相當不愉快。

彭德懷上任國防部之前，軍隊的許多工作都是由總參謀部來進行的；后來彭德懷上任國防部長，自然不可能干看著，就做個泥胎木塑的菩薩。

更何況，毛主席明確安排彭德懷負責軍委日常工作，如果主要工作由總參謀部做了，那他還負什么責。但是呢，很多工作又不可能繞開總參謀部，所以就有了軍委秘書長一職，編制上黃克誠成為彭德懷的下級和主要助手，黃就這樣成了彭在總參謀部的“抓手”。

黃克誠做軍委秘書長時，在軍隊中的地位多高，通過毛主席在1958年年中的軍委擴大會上的一段講話內(nèi)容可以看出：“講責任，第一是我，第二是彭德懷，第三恐怕是黃老（即黃克誠），因為他是秘書長。”

這時候在國防部長彭德懷的領(lǐng)導下，總參謀長粟裕的地位和權(quán)力遠不及兼軍委秘書長的副總參謀長黃克誠的。

廬山會議之后，彭德懷、黃克誠下臺，羅瑞卿（兩次擔任，76年后還擔任過一次，協(xié)助鄧小平處理軍委工作）、葉劍英、耿飚、楊尚昆、楊白冰五人擔任軍委秘書長一職。無論是59年到65年，還是77年到78年（78年在歐洲猝然離世），羅瑞卿擔任軍委秘書長這個職務期間，軍委秘書長的權(quán)力都達到了史無前例的頂峰。

59年到65年，羅瑞卿是總參謀長、軍委秘書長一肩挑，權(quán)力高度集中。通過總參謀長的職務，軍委秘書長的實權(quán)得到極大的強化?？梢哉f，從設立軍委秘書長這一職務開始，其權(quán)力和地位就在不斷上升，最后到92年不再設該職。

鄧小平兩次擔任總參謀長一職，第一次是1975年1月到1976年4月，第二次是1977年7月到1980年3月。他擔任總參謀長時期，軍委秘書長的地位、權(quán)力肯定是比不過他這個總參謀長的，但這跟總參謀長這一職務沒什么關(guān)系，主要是鄧小平這個人，他很特殊。1952年7月，作為二野政委的他離開地方和軍隊，進入中央，從事行政工作，一直到1967年。這是其他總參謀長所沒有的經(jīng)歷。

1975年1月到1976年4月，鄧小平擔任總參謀長時，歷經(jīng)波折的葉劍英大概還兼著軍委秘書長職務（沒有明確撤去或任命），并主持軍委日常工作，但是這個軍委秘書長職務功能漸漸淡去，葉在全力支持鄧進行整頓工作。