בשנת 1928 הוחל בנטיעת גן זה שהיה הראשון ברמת-גן ולכן כונה "זקן הגנים". בתחילה קראו לגן בשם "גן המלך ג'ורג'" על שם מלך בריטניה (1910 - 1936). ב-3 ביוני 1935, חג חצי היובל להכתרת המלך ג'ורג' החמישי, נחנך הגן באופן רשמי במעמד בא כוח הממשלה הבריטית, אורחים מוזמנים וקהל רב.
בשנת 1937 הגיע שטחו של הגן ל- 13.5 דונם, הותקנו בו מרבדי דשא על שטח של שני דונם ונשתלו 12 ערוגות פרחים. כן נוספו ספסלי ישיבה מעץ ושיש וכן מזרקת מים. בשנת 1948 הוסב שם הגן ל"גן המלך דוד".
שטח הגן הינו שבעה דונם והוא כולל פינות נוי ומשחק לילדים. הגן מטופח וברובו מעברים מרוצפים ובהם ספסלי ישיבה והמזרקה הקלאסית, שהייתה עשויה אבן והוחלפה במזרקה מודרנית.
לגן ארבע כניסות: האחת מהרחוב הראשי של רמת-גן - הוא רחוב ביאליק, השנייה מהכביש הראשי שפניו לתל אביב הוא דרך ז'בוטינסקי. הכניסה השלישית היא מכיכר רמב"ם (כיכר אורדע). בעבר היו בכניסה זו סוכות שעליהן טיפסה צמחייה. הכניסה הרביעית מרחוב למדן המוביל לרחוב הרצל, שהותקנה כדי להשלים את הסימטריה של הגן.