黔灵山原名大罗岭，旧名唐山。自明洪武至永乐年间（1375年—1414年）镇远侯顾成游登并发现圣泉之后，山中景点始见于史籍。

清康熙十一年（1672年），赤松和尚云游至此，见大罗岭南众山之间有片窝地很平，这里当时是山脚苗寨大罗木寨民罗氏的祖地，他便向罗氏化缘求捐。赤松结茅庵于山中，寺庙初具规模，初期取名“黔灵山寺”，“黔灵”意为“贵州之灵山。”也就是说，这座山是因有黔灵山寺后才得名。此后，赤松和尚将黔灵山寺改名弘福寺。

民国时期（1912年—1949年），贵州省政府将黔灵山列为保护名胜处所，保护的对象包括寺庙建筑、佛像、礼乐器具、经卷、雕刻、绘画等，所在地的森林以及环境卫生，均列为保护范围。黔灵山弘福寺为贵州佛教会所在地。

民国十八年（1929年），果瑶法师于弘福寺创建贵州佛学院。

民国三十一年（1942年），贵阳市政府择定黔灵山、华家山、鹿冲关、八鸽岩四处为保育林区，任何人不得损坏树木。

1954年，贵阳市政府在黔灵后山筑坝拦大罗溪水建造人工湖，湖水面积28公顷，取名黔灵湖。

1956年，贵阳市政府在黔灵湖畔建“解放贵州革命烈士纪念碑”。

1957年9月30日，黔灵山风景区改建为黔灵公园，10月1日正式对外开放。

1958年7月1日，黔灵公园动物园正式开放。文革期间，弘福寺废僧散，院宇他用。

1979年，改革开放以来，贵州省及贵阳市人民政府为恢复弘福寺屡有决策。

1987年7月28日，弘福寺交还僧人管理，由贵州省佛教协会会长慧海法师主持寺务。1992年，黔灵公园兴建了三岭湾游乐场，引进汽动飞船、电瓶游乐车、气枪打靶、电转飞象等游乐设施。

1999年，贵阳市政府加大对公园建设的投入，完成了黔灵湖清淤工程。

2000年9月，黔灵公园内全长13.5千米的生态旅游盘山步道全线贯通，使游览区面积扩大了26万平方米。

2003年，贵阳市政府投资对七星潭景观进行改造和开发，在保护原有景观的前提下，对七星潭驳岸、水景、植被和林相进行改造，增加道路、广场和休息设施的建设。

2009年，黔灵公园更名为黔灵山公园。

2013年，黔灵山公园拆除了纪念碑右边耳塘鸽场、含碧轩玻璃房、动物园餐厅外搭棚架、动物园骆驼照相点、黔灵湖耳塘激光战船、游乐场骑士马、糖艺面雕，以及关停了黔灵湖新码头货棚、游乐场部分门面、猴场门面、流星花园经营点、动物园鸽子经营点等。10月1日，新建的三岭湾广场向游人开放。

2014年1月1日，黔灵山公园南大门改造完成。

2016年1月，黔灵山公园动物园启动提升改造工程，历时270天，新建了两栖爬行馆、小兽区、猛兽区、百鸟园、灵长类动物区、食草动物区。动物园区面积扩大到4万平方米，完善了动物救助站等配套服务设施。

2018年4月22日，黔灵山公园大熊猫馆正式对外开放。