五四運動爆發后，中國工人階級第一次作為獨立的政治力量登上歷史舞臺，這使李大釗欣喜地看到，在中國建立以馬克思列寧主義為理論指導的無產階級革命政黨開始有了可能。1920年初，李大釗就曾與鄧中夏等醞釀過成立中國黨組織的問題。

1920年2月8日，陳獨秀從武漢回到北京。2月12日，正是陰歷“小年”，李大釗雇好了一輛騾車，和陳獨秀都喬裝成商人，如同商號經理出外討債，身邊還放著一些賬本，趁著晨光悄悄從朝陽門出發，離開了北京城，經廊坊直往天津。旅途中，二人相約在北方和南方籌建共產主義組織，就此留下“南陳北李，相約建黨”的佳話。

3月，李大釗在北大秘密組織成立馬克思學說研究會。研究會成立后，李大釗找蔡元培校長要了兩間屋子做活動場所，一間當辦公室，一間當圖書室。他們還給這兩間屋子起了個名字，叫“亢慕義齋”（英文Communism，即“共產主義”的諧音）。

4月，共產國際代表維經斯基一行來到中國，了解中國革命的情況，并同中國的革命組織建立聯系。共產國際代表維經斯基一行的到訪，無異于為中國共產主義組織的成立注入了催化劑。李大釗開始認識到，在中國僅僅建立馬克思學說研究會，已經遠遠不夠，必須籌建無產階級政黨。

建黨初期，陳、李二人書信往來頻繁。據張申府回憶，1920年8月，陳獨秀就黨組織是叫社會黨還是共產黨拿不準，特地致信李大釗征求意見。最后，李大釗回信一錘定音：“叫共產黨！”