1962年，總政部下轄文化部重新恢復，這是至1958年總政文化部撤銷后重建，配備三位副部長，調《解放軍報》總編輯李逸民擔任文化部長。

我們知道總政部主要負責軍隊政治思想領域工作，無論是辦報，還是文藝工作都屬于意識形態(tài)的范疇。讓他主管文化工作，因為他可是開國將領中少有上過大學的老資格。

我們知道抗戰(zhàn)時期參軍的革命青年很多，而且很多都是知識青年，可在大革命時期就讀書上大學，革命隊伍中鳳毛麟角，很多上過高小，上過中學都已經很了不起了，能上大學除了能力強之外，還有需要家庭殷實才行。李逸民的家庭很殷實，不僅他家，舅舅家更不簡單，也都是舅舅資助他和表弟上學。

后來，大學沒有畢業(yè)就投筆從戎考入黃埔軍校。

在抗戰(zhàn)和解放戰(zhàn)爭時，他一直在后方工作干教育和財經工作。解放后，把他抽到到中央首長身邊當財經秘書時，覺得勝任不了，因此另選工作進入部隊，被授予少將。如果按照他戰(zhàn)爭時期的過往，幾乎與部隊關系不大，不應該授予軍銜，但他卻是少有的一位。

五十年代在公安軍擔任政治部副主任，公安軍撤銷后編入總參工作，后轉入總政辦報，又轉入文化部擔任部長。文化部主要負責文藝，比如電影廠的拍攝、話劇、歌舞劇文工團的排練演出等。對于拍電影他不熟悉，作為門外漢被導演“嫌棄”，也被首長“嫌棄”。

他干一段文化工作，留下一個印象：就像時時擺著一個定時炸彈。一個節(jié)目、一首歌、一個舞蹈，一部電影，一篇小說都可能出問題，有點問題就要挨批。

到1964年，他得到一個消息說江青要當解放軍文化顧問，在總政辦公，李逸民心里不安，認為自己這個部長干不了了。第一，他不懂文化，來當文化顧問，日后恐怕不好處理工作；第二，對方在三十年代在上海過，自己也在上海知道對方的經歷。不管是一廂情愿，還是真有事此時，他總覺得不能再干，就想辦法退下來。

可六十年代，干部離退休制度并沒有完善，而且大多數干部也才五十上下的年紀，正是有閱歷有精力，能干工作的時候。因此絕多數人是在職的，離休的也都是個別干部，而且還是身體很差，像朱良才、唐亮、郭天民等少數，他們也都是申請多次才被批準的。

也就是說，李逸民要想從位置上退下來，必須是身體原因導致。因此他就去醫(yī)院檢查，結果身體很健康，醫(yī)生讓他做做運動在測試，結果顯示異常，給開診斷證明，但總政部負責人先讓他休養(yǎng)一段時間再說，而他迫切要求離休。

在經過反復爭取后，上級才算同意他的意見。

沒想到1966年，一場運動的深入讓各單位主要負責人受到沖擊，總政也不例外。因為一開始不了解運動的性質，他還多次主動去“湊熱鬧”，身體還很不滿意，怎么沒有自己的大字報。有人好心勸他趕緊離開，以后不要再來，但他一開始并沒有完全理解，直到形勢讓他感覺不同時，才回過味來。

因為他已經不在職了，因此沒有人對他怎么樣，在特殊的10年里，相比大多數干部而言很平穩(wěn)度過，家人也沒有受到影響。這在當時已經是很不錯了，因為1967年總政部一度取消，主任和幾位副主任以及受到沖擊。

1969年，上級對在京老干部疏散時，讓他離開，一個拖字，拖住了。退一步來說，無論是之前的所謂可預見性，還是恰合的發(fā)生，讓他沒有在大風大浪中受到沖擊。