1927 年 4 月，國民革命軍北伐期間，總司令蔣中正突然下令清黨，將原本因為國共合作而加入 國民黨的共產黨員逮捕、殺害。蔣中正控制上海、南京後，宣佈在南京成立由蔣中正主導的 國民黨中共黨部及國民政府。 國民黨原本的中央黨部，亦在武漢成立國民政府，並且推舉由歐洲回國的汪精衛主持大局，形成歷史上所稱的「寧漢分裂」局面。不久，武漢國民政府亦宣布清除共產黨人員。於是國民革命軍各部隊、國民政府各基層單位裏面的中共黨員，處境十分嚴峻。

8 月初，部分有中共黨員背景的國民革命軍軍官，策劃在江西南昌起事，企圖控制南昌，建立政權。但被 國民黨軍隊擊敗，歷史上稱為「南昌起義」或者「南昌暴動」，而中共將發動南昌起義的 8 月 1 日 ，作為中共軍隊成立的紀念日。

南昌起義失敗後，起義的領導者 周恩來、賀龍、葉挺、朱德、劉伯承等人，率領殘餘部隊向南撤退，經江西、福建交界山區，進入廣東潮州地區， 周恩來曾經秘密到香港，再輾轉去到上海。同一時期， 毛澤東在湖南、江西交界的農村組織農會，爭取權益。 國民黨清黨， 毛澤東領導農民發動秋收起義，失敗後退入湖南，江西交界的井岡山，開始建立農村根據地。後來 彭德懷等人率領部眾與 毛澤東會合，井岡山根據地實力大增。並且向鄰近農村擴大，範圍伸展到江西南部的瑞金、于都，福建西部的長汀、上杭一帶。 毛澤東在江西南部山區建立蘇維埃政權，進行農村改革，招募農民子弟組成紅軍，以游擊戰術，同配備優良的國民政府軍隊對抗。

蔣中正為首的南京國民政府統一全國後，中共受到嚴厲打壓。當時中共中央受蘇聯主導的共產國際所支配，在上海以及各大都市秘密活動，中共黨員受到國民政府當局以及租界當局的緝捕，反而 毛澤東所領導的農村蘇區，多次擊退國民政府軍隊的圍剿。不過， 毛澤東的農村革命方式，得不到共產國際所支配的中共中央贊同。當時的中共中央強調城市工人革命是革命的正確路線。