早在远古时代，济南市是一片大海，鱼类和贝类在千佛山、玉函山顶上漫游；后来这里又成了荒原，巨大的鸵鸟在党家庄一带奔驰。再后来，这里有了野马、梅花鹿、大象。当然，人类也在这片古老的土地上出现了。

约8000年前，新石器时期早期，我们的祖先遍开始选择了一条现在名叫西河的河流南岸过上了定居生活。考古发掘表明，西河村遗址大约有1500平方米，建有20多处住房，房址面积小的30平方米，大的有40平方米。另出土有釜、钵、盆、罐、碗以及灶等。这一村落房址，是迄今我们所知济南地区最早的建筑遗址。1964年，在济南市西郊田家村又发现了史前遗址，出土了石磨盘、陶鼎、陶壶以及猪头骨、鹿角、蚌壳等。专家介绍，这处遗址距今大约已有6500多年历史，属于北辛文明时期。

20世纪20年代，有专家经过龙山镇一处被当地老百姓称为“鸭鹅城”的黄土高埠时，不经意间捡到了陶片、贝壳、兽骨等物。后又从4米深的地下挖掘出一只完整的石斧，并在地表深处挖掘出了一种从来没见过的漆黑发亮的陶片。这一发现，顿时引起中国考古界的重视。1930-1931年间，考古人员两次对此遗址进行发掘，出土了大量的陶器和石制工具，一个以磨光黑陶为主要特征的新时期时代文明遗存在沉睡了4500年之后又重新展现在世人面前。1934年，梁启超的儿子、著名考古专家梁思永出版了《城子崖》发掘报告。技术分析表明，这里不仅存在着一座龙山文化（距今4500-4000年）的古城，而且还有一座夏代时期（距今3900-3500年）的古城。龙山时代的古城，城周约2公里，面积20万平方米；城墙东、西、南三面平直，北墙向北凸北。大致为方形。有人估计当时城内可住有居民一万余人。

城子崖古城一度被荒弃，结合商代文化在济南市区一带的发现，说明那时政治文化中心已经由城子崖转移到今济南市区附近。西周晚期，城子崖遗址在原来的夏代古城城址上，又出现了一座版筑夯土的古城，即史书记载的谭国古城。几乎与此同时，现在的济南城开始成为“肘腋重地”。

济南之名，始于汉代，当时称济南郡（国），曹操曾经做过济南国相。济南郡治东平陵。平陵城在城子崖的西边，城址为方形，边长1900米，城周约7.5公里，城高五丈。章丘市博物馆藏有该城出土的一件陶管道，说明当时的城内已经有了较为完整的排水体系。

许多学者认为晋永嘉末年（312年）平陵古城一道历下，济南才开始建城，这是一种误解。其实，在济南郡治平陵城的时候，我们的祖先便考虑移城西迁的事了。历下古城早在汉代就已经修建，并始成规模。《汉书·高帝纪》：“六年（公元前201年）冬十月，令天下县邑都要修筑城池”，也就是说，命令全天下所有县邑都要修筑城池。另据1633年《历乘·建置》载：“历下城建自汉，西晋永嘉年间移平陵城于此，而城始大。”也就是说，历下古城早在汉代就已经建成，只是晋永嘉年间将治所移至历下后，历下古城才又得以进一步扩大。

历下古城的城址，故基难考。但从《水经注》的记述中，可以略闻测知：古城东西五百步，南北六百步，略呈正方形。其西门大致就是今日的西门，东门约在院前大街十字路口附近，北门在省府前街北段，南门在今榜棚街南口。

晋永嘉年间，济南治所由平陵城迁至历下后，又在古城以东另建东城。元朝时，把古城和东城合一，城区范围进一步扩大。

明朝洪武四年（1371年），开始修建府城，在原土城的基础上，砌以砖石，城周十二里四十八丈，深三丈；并开辟了四座城门：东门为齐川门，西门为泺源门，北门为汇波门，南门为舜田门，舜田门后改历山门。这个轮廓已和今日老城区相同，这次修建是济南历朝城市修建规模最大和最完善的一次。

1904年5月4日，光绪皇帝朱笔一挥批道“外务部议奏，钦此”，济南开埠由此变为现实。商埠勘定东起十王殿（今馆驿街西口）西至大槐树（今纬十二路），南北以胶济铁路、赴长清大道（今经十路）为界。设立了商埠局，市区范围继续扩大。1909年，津浦铁路、胶济铁路相继建成，在济南交会。随着经济发展、以今泉城路一带为古城中心和以大观园商场为商埠中心的双中心城市格局逐步形成。