ראשיתה של הספרייה הראשונה בעיר כ"דביר ביאליק", שנחנכה ב- 8.1.1936 לכבוד יום הולדתו של המשורר ביאליק ז"ל. הספריה הוקמה תחילה במבנה המוכר כיום כ'בית האזרח', ששימש כמרכז תרבות וספריה. חנוכת הבית, ששמו הוסב בהמשך ל"בית האזרח", נערכה ב- 1.6.1945. המייסד והמנהל היה ירחמיאל סלוצקי ז"ל.
במשך השנים התרבו הספרים והקוראים. בשנת 1951 הגיעה הספרייה ל- 10,000 כרכים ו- 1,500 קוראים. בשנת 1955 גדל מספר הספרים בכל ספריה ל-21,000 ו-3,083 מנויים, ולכן הקימה העירייה ספריה נוספת בשיכון ותיקים. בשנת 1961 מכילה הספרייה בבית האזרח 45,000 ספרים מתוך סך 60,000 שבכל הספריות העירוניות ברמת-גן, כאשר המקום צר מלהכיל את הקוראים ואת הספרים.
לפיכך, הוחלט להקים ועדה להקמת הספרייה העירונית המרכזית וסניפים נוספים לשיכון הוותיקים, רמת עמידר, רמת חן ונווה יהושע ביוזמתו של ד"ר ישראל פלד, שהיה סגנו של אברהם קריניצי ז"ל, ראש העיר הראשון של רמת-גן. הושגה תרומה ממשפחת פרומצ'נקו ובעקבות כך הונחה אבן הפינה ב- 18.2.1964 והבניין נחנך בסוף 1967. מאז שוכנת הספרייה המרכזית ברחוב חיבת ציון 14 במשכנה הנוכחי.