霍州市的“霍”是山西省內(nèi)最古老的地名之一。早在殷商卜辭中就有“癸未卜在霍貞王旬亡禍”、“貞霍，其霍”的記載。其中的“霍”即指今霍州市一帶。西周初，周武王封其弟叔處于霍，建霍國，是為霍叔，與管叔姬鮮、蔡叔姬度同為周初三監(jiān)之一。到公元前６６１年，晉獻公滅霍國，末代霍君霍公求逃到齊國避難，其子孫流亡各地，并皆以祖先封地霍為姓，這便是霍姓的起源。

　　在西周時期，霍國還有個叫“彘”的地方。當時周厲王無道，引起國人叛亂，公元前８４１年周厲王逃亡到彘，至前８２８年便死在這里。

　　西漢因在此置彘縣，東漢陽嘉三年（１３４年），改名永安縣。隋開皇十八年（５９８年）改名霍邑縣。金為霍州治所。明洪武初，霍邑縣省入霍州。民國初改名霍縣。１９８８年設(shè)霍州市。

　　對于“霍”的解釋也有多種說法，比較流行的一種認為：霍山又名太岳山，所以霍是“霍然大也”。其實早在東晉郭璞在《爾雅注》中已進行了合情合理的注釋，他認為“霍”是先秦方言，義為“大山包圍著小山”。郭璞一生集“爾雅學”之大成，并以晉代語詞中的古語考見古今語音流變，他的解釋無疑最具權(quán)威性。

　　郝懿行在注釋時也贊同郭璞的說法，他說：“山以霍名者非一，皆本地為義也。”他認為全國有多處以霍為名的山峰，而且都是“大山圍小山”式的地形。他舉安徽的霍山為例：“天柱山中峰小而四圍有大山以繞之，與此合矣。”其實山西的霍山也是這種地形，其中部低平，四周山峰環(huán)繞。明代《嘉靖七年九月平陽知府祭告霍山文》中就這樣描述了霍山的形勢：“抗中條而屹乎如案兮，環(huán)群峰而繚焉如墻”。這都證實郭璞對“霍”的詮釋是很有見地的。

　　《水經(jīng)注》中還記載了霍國末代國君霍公求的一個故事。傳說晉獻公滅霍國后，霍公求逃往齊國，結(jié)果這年晉國大旱，民不聊生。掌管占卜的官員說，這是霍山在作祟，山神無人祭祀的緣故。晉獻公只好遣使赴齊請霍公求回國專祀霍山，后來晉國才又獲得好收成。這一傳說是關(guān)于祭祀霍山神的最早記載。

　　霍山何時列入祀典？我們已無從考見，但在《周禮·職方氏》記載九州的鎮(zhèn)山時，就已把霍山作為冀州的鎮(zhèn)山。另外八州的鎮(zhèn)山是：楊州會稽山、荊州衡山、雍州華山、豫州嵩山、兗州泰山、青州沂山、并州恒山、幽州醫(yī)無閭山。隋開皇十四年（５９４年），又詔令祀霍山為中鎮(zhèn)。

　　隋末唐太宗起兵太原，過霍邑縣受到隋將宋老生頑強抵抗。時有一白發(fā)翁，告之以鹽商古道，唐太宗根據(jù)其指點，棄輜重，巡霍山，出奇兵，于彘水之北大敗隋兵，斬殺宋老生。此后唐兵南下，直驅(qū)長安，如蹈無人之境。唐太宗即位后，認為霍邑大捷是得霍山神人指點，遂封霍岳中鎮(zhèn)為應靈王。同時再次明確了五岳和五鎮(zhèn)之封。五岳即東岳泰山、西岳華山、南岳衡山、北岳恒山、中岳嵩山；五鎮(zhèn)即東鎮(zhèn)沂山、西鎮(zhèn)吳山、南鎮(zhèn)會稽山、北鎮(zhèn)醫(yī)無閭山、中鎮(zhèn)霍山。至此，中鎮(zhèn)霍山神崇名美號，歷代有加。山中有關(guān)舉行祀典的建筑及佛道文化建筑如中鎮(zhèn)廟、興唐寺、慈云寺、真武廟、廣勝寺、紅崖寺、喝石庵等也隨之遍布其間。時至今日，霍山仍然是山西著名的風景名勝區(qū)。