黎玉1926年加入中國共產黨后，就一直在北方搞地下工作，組織工人運動和農民運動，經歷過不少風險。1936年春天，中共中央北方局派他到山東當省委書記。那時候山東黨的組織因為叛徒出賣被破壞得很嚴重，黨員剩下不到五百人，各地聯系基本斷了。

黎玉一個人騎自行車從河北出發(fā)，到了濟南后，先是拉黃包車掩護身份，慢慢聯系上趙健民和林浩這些人。

1936年5月1日，他們在濟南四里山北邊一個墳地里開會，重建了山東省委，黎玉擔任書記。省委剛成立的時候條件很差，就三個人，黎玉換上貨郎衣服走村串戶，到沂蒙山區(qū)、膠東農村和煤礦區(qū)宣傳抗日，發(fā)展黨員，組織窮人會。

1937年10月，日軍逼近山東，韓復榘的軍隊往南跑，局面亂成一鍋粥。省委遷到泰安，黎玉主持會議，決定發(fā)動武裝起義，重點放在徂徠山。1938年1月1日，徂徠山起義成功，成立山東人民抗日游擊隊第四支隊，黎玉兼任政治委員。

省委還組織了第五支隊、第三支隊、第八支隊和泰西人民抗敵自衛(wèi)團，全省抗日武裝發(fā)展到幾萬人。這些隊伍都是當地老百姓和愛國青年拉起來的，武器差，干部少，游擊習氣重，經驗也不足。

黎玉覺得這樣下去不行，得向中央匯報，爭取支援。1938年3月底，他帶了泰安的馮平、新泰的郭云青、費縣的高其貴等同志，從萬壽宮出發(fā)，步行穿過敵占區(qū)，4月初到了延安。

黎玉到延安后，向毛澤東詳細匯報了山東的情況：各地起義部隊已經發(fā)展到幾千人，控制部分鄉(xiāng)村，但武器主要是土槍大刀，干部缺正規(guī)訓練，裝備簡陋，給養(yǎng)困難，急需主力部隊和骨干干部。他提出請求，希望中央派一個主力團到山東，加強作戰(zhàn)能力。

毛澤東聽完匯報后，肯定了山東同志抓住時機建立武裝的工作，說山東戰(zhàn)略位置重要，游擊戰(zhàn)爭大有可為。談到派兵，毛澤東表示同意派干部，同時指出一個團不夠，看來還要多派一些。

1938年5月，派郭洪濤帶干部到山東。8月下旬，黎玉和張經武率一百二十多名軍政干部離開延安，返回山東，11月抵達蘇魯豫皖邊區(qū)省委駐地。

12月27日，根據中央指示，八路軍山東縱隊在沂水縣王莊成立，張經武任指揮，黎玉任政治委員，下轄九個支隊和一個總隊，部隊達到兩萬四千多人。山東縱隊成立后，和地方武裝配合，創(chuàng)建根據地，擴大游擊區(qū)，訓練干部，發(fā)展群眾組織。

1938年11月25日，中央軍委決定由陳光代理師長、羅榮桓任政委，率第一一五師師部和第三四三旅主力挺進山東。12月下旬，部隊從晉西靈石出發(fā)，穿越同蒲路和平漢路，克服封鎖和敵情，1939年3月進入山東境內。

先頭部隊在魯西南和冀魯邊活動，3月3日在鄆城西北樊壩打了一仗，全殲偽軍一個團，打開運西局面。主力到達泰西地區(qū)，和山東縱隊第六支隊會合，協助建立政權，瓦解反動會道門，拔除偽軍據點。

5月，在肥城以南陸房地區(qū)，日偽軍八千多人分九路圍攻。部隊依托山地阻擊，邊打邊轉移，5月下旬突圍，殲敵一千三百多人。此后，師部機關部分人員越過津浦路，進入費縣西北，配合地方武裝開辟新區(qū)。

抗日勝利后，黎玉擔任中共華東中央局副書記、新四軍兼山東軍區(qū)副政委等職。新中國成立后，他歷任上海市委秘書長、中央人民政府委員，第一機械工業(yè)部副部長、農業(yè)機械部常務副部長等職務。1986年5月30日，他在北京病逝，享年八十歲。