霍山縣歷史悠久，建制較早。據(jù)史書記載，春秋時(shí)，此地是仲甄仕夏的封地。始屬楚國，楚漢相爭時(shí)，項(xiàng)羽封伍芮為衡山王，潛邑屬衡山國（國都在今黃岡縣東南，古稱“邾”）
　　漢孝文帝前十六年（公元前164年）于淮南地復(fù)置衡山國。漢武帝元狩元年（公元前122年）衡山王謀反被平，改衡山國為衡山郡，后漢章帝時(shí)，潛縣屬壽州廬江郡。南北朝時(shí)，宋文帝元嘉二十五年（公元448年），改潛縣為開化縣，屬邊城左郡；南齊屬安豐郡。

　　隋朝開皇初年，在今下符橋設(shè)置淠水縣，不久廢州改縣，始稱霍山縣，遷于今治。唐初復(fù)置開化縣。神功元年（公元697年），改為武昌縣，神龍?jiān)辏ü?05年）又復(fù)置霍山縣。開元二十七年（公元739年），在今六安設(shè)盛唐，管轄霍山。天寶元年（公元742年），從盛唐縣劃出一部疆域，增設(shè)霍山縣，城址在今古城畈。宋開寶初，廢霍山、盛唐兩縣，其疆域劃歸六安縣，直至宋末曹平章?lián)亓f寨，仍歸六安縣管轄。明弘治年間，居民錢俸上書，請以六安州西南境立縣，獲準(zhǔn)，設(shè)置霍山縣，屬廬州府六安州。清沿明制。

　　民國初年，廢府設(shè)道?；羯娇h改隸安慶道。民國21年（1932年），霍山縣改隸行政督察第三區(qū)。1930年4月，成立了安徽省第一個(gè)縣級(jí)蘇維埃政權(quán)——霍山縣蘇維埃政府；隨后，霍山全縣赤化，成為安徽省第一個(gè)全境赤化縣。1931年2月23日，中共安徽省委向中共中央報(bào)稱“全省規(guī)定四個(gè)中心縣，紅色區(qū)域以霍山為中心縣，白色區(qū)域以安慶、合肥、屯溪三縣作中心。1936年又將霍山南部黃尾河等9個(gè)保劃歸岳西縣管轄。直至中華人民共和國成立前夕，霍山縣的建制、疆界基本穩(wěn)定。