知識書店于1936年9月創辦，店址在現和平路298號，國民飯店附近的一個臨街鋪面，這里也是當時中共天津市委機關的一部分。知識書店是由地下黨員吳硯農及其好友葉篤莊籌辦，經中共中央北方局林楓批準建立的。

1933年10月，天津文化總同盟遭到破壞，為躲避敵人追捕，吳硯農以到新聞學校求學的名義來到日本東京。在東京，他與同在天津參加過學生運動的革命青年葉篤莊商討，如果時機成熟，就回天津創辦一個書店，以便在黨的領導下開展文化、教育、宣傳等工作。

1936年的夏季，吳硯農、葉篤莊相繼回國，先由吳硯農與黨組織取得聯系，葉篤莊負責籌集資金，在黨組織的領導下，開始了籌辦書店的工作。書店開張后，經理由葉篤莊擔任。主要銷售上海出版的一些進步刊物。

書店影響很大，輻射很多地方，這也引起了敵人的注意。七·七事變以后，日本特務機關照會法租界工部局，要查封書店。為避免不必要的損失，經向省委負責人李大章請示，書店于1937年7月28日關閉。當時日軍的飛機正一面轟炸南開大學，一面飛到租界上空散傳單，而群眾不去注意頭頂上飛舞的五顏六色的傳單，卻聚集在書店門前圍觀大字報。時間是1937年7月28日，大字報的內容大致是：由于時局的原因，貨源斷絕，不得不停業，等等。最后一句是：“別了諸君，祝珍重！”字里行間充滿了激情和憤慨。知識書店在存在的10個多月的時間里，不斷地在天津等地宣傳我黨團結抗戰的主張，擴大了進步力量的影響。