【隋朝之前】 连山历史悠久,秦朝为长沙郡地,汉属荆州桂阳郡,三国时属始兴郡地,晋朝属熙平县地,南齐时改称希平县。南朝梁天监五年(506年),梁武帝析桂阳县地,在县境内新置广德县(一作广惠县),“广德”意为广施德政,初时属始兴郡,县治设于钟山下(今吉田镇古县坪),次年改属新置衡州阳山郡。隋开皇十年(590年),改称广泽县,属新置连州辖。仁寿元年(601年),避太子杨广名讳,改称连山县,“连山”县名自此始。大业三年(607年),改属扬州熙平郡。
【唐朝至五代十国】 唐武德四年(621年)改属潭州总管连州辖。贞观元年(627年),新设江南道,归属潭州都督连州辖。开元二十一年(733年),改隶岭南道连州。天宝元年(742年),升为连山郡,仍属岭南道。乾元元年(758年)复县,改隶湖南道韶连郴都团练守捉使连州。大历三年(768年),又改隶岭南道广州。光化三年(900年),又改隶连州。五代十国时,后汉乾祐元年(948年)改属岭南道连州。
【宋元时期】 北宋开宝三年(970年),改属江南西道连州。至道三年(997年),改属广南东路连州。南宋绍兴六年(1136年),废县改镇,属广南东路连州。绍兴十八年(1148年),复县,治移程山(今永丰司城),改称程山县。元初设置行省,连州州治移来连山,直隶行中书省。至元十五年(1278年),复县治古县坪,并复称连山县,改隶江西行省湖南道连州。至元十九年(1282年),改隶江西行省广东道连州。元贞二年(1296年),改隶江西行省广东道英德府。
【明清时期】 明洪武二年(1369年)四月,废连州,隶广东行省韶州府;四年(1371年)并入阳山县;十三年(1380年)又复设连山县;十四年(1381年)改隶广东布政使司广州府连州。永乐元年(1403年),再度移治程山。天顺六年(1462年),移治象山小水坪(今太保旧城)。清初设省,隶广东省广州府
连州。雍正五年(1727年),改属广东省南韶连道连州,七年(1729年)改隶广东省连州(直隶州)。嘉庆二十一年(1816年),升为连山绥瑶直隶厅。
【民国时期】 民国元年(1912年)复县。民国3年(1914年),隶广东省岭南道。民国15年(1926年),改隶北区善后公署。民国25年(1936年),改隶广东省第二行政督察公署。民国35年(1946年),移治永和。
【中华人民共和国时期】 1949年12月10日,连山解放后,隶属广东省北江行政公署(1952年11月改粤北行政公署,1956年2月改为韶关地区行政公署)。1953年1月25日,与连南合并成立连南瑶族自治区(县级),隶属粤北行署。9月18日,在永和成立连山办事处,代表自治区政府领导原连山县地域一区(永和)、三区(福堂)、四区(小三江)的行政工作。1954年1月21日,恢复连山县建制。
1958年5月29日,国务院第七十七次全体会议通过“撤销连山县,设立连山壮族瑶族自治县”的决定,以原来连山县行政区域为连山壮族瑶族自治县行政区域。9月10日,启用国务院颁发的刻有汉文、壮文的“连山僮族瑶族自治县人民委员会”印章,28日启用“中国共产党连山僮族瑶族自治县委员会”印章。11月下旬与连县、连南、阳山合并成立“连阳各族自治县”,县治驻连州,隶属韶关地区,成立自治县的方案未能正式实施。
1960年10月恢复阳山县后,连阳各族自治县改称连州各族自治县。1961年10月,撤销连州各族自治县,恢复连县,设立连南瑶族壮族自治县。此方案未广泛征求意见,连山、连南两县干部认为1953年1月曾合并不足一年又分开,将连山、连南再合在一起不利于开展工作,故直接一分为二,分别回到原连山、连南的行政区域办公,同时向上级反映有关情况。1962年3月27日,国务院第一一五次会议通过“撤销连南瑶族壮族自治县,恢复连南瑶族自治县、连山壮族瑶族自治县”的决定。1962年9月26日,连山壮族瑶族自治县正式成立,仍隶属韶关地区。
1983年6月,韶关地区与县级韶关市合并成立地级韶关市,连山隶属韶关市。1988年1月,新设立清远市,连山划归清远市管辖。
2024年1月