鐵嶺原為“鐵嶺衛(wèi)”的簡(jiǎn)稱(chēng)，如同天津原為天津衛(wèi)、沈陽(yáng)原為沈陽(yáng)衛(wèi)一樣，原來(lái)都是明朝軍事組織的名稱(chēng)。明朝的軍事建制比較特殊, 它沒(méi)有采用前朝如《水滸傳》中八十萬(wàn)禁軍教頭林沖所在的那種"禁軍"制，也沒(méi)有采用更早時(shí)候的“左、右軍”或“三軍”那種軍制形式。朱元璋創(chuàng)立了一種將屯田與防衛(wèi)相兼的新軍事體制，史稱(chēng)"衛(wèi)所"制。

　　“衛(wèi)”和“所”都是軍事單位，其中“所”又分為千戶所和百戶所。從人數(shù)上看，“衛(wèi)”大約相當(dāng)于現(xiàn)今的師，千戶所大約相當(dāng)于團(tuán)，百戶所大約相當(dāng)連。按明初的編額定員，大致5600人為一衛(wèi)，1120人為一千戶所，112人為一百戶所。通常，每衛(wèi)轄五個(gè)千戶所，每千戶所下轄十個(gè)百戶所，百戶所下轄二總旗、十小旗；每總旗50人，每小旗10人。衛(wèi)所設(shè)衛(wèi)指揮、千戶、百戶等官。

　　衛(wèi)所的軍士全都別立戶籍，且分有土地，稱(chēng)做軍戶。軍戶都是專(zhuān)職且世襲；一經(jīng)簽派為兵，就不能隨意脫籍。平時(shí)，衛(wèi)所以大部分軍戶種地，屯田自養(yǎng)，以少部分軍戶訓(xùn)練并擔(dān)當(dāng)防務(wù)。軍餉大部由屯田所得自補(bǔ)。

　　衛(wèi)所之上設(shè)都指揮使司，通稱(chēng)都司；明初全國(guó)共設(shè)17個(gè)都司和3個(gè)行都司。中央設(shè)中、左、右、前、后五軍都府專(zhuān)門(mén)管理都司和衛(wèi)所。在五軍都府之外有兵部，二者互為制衡。衛(wèi)所中的指揮、千戶、百戶等官只負(fù)責(zé)平時(shí)操練和巡防，遇有戰(zhàn)事，須聽(tīng)由兵部派出的總兵官指揮。這樣，兵部、都府、總兵官、衛(wèi)指揮等都不能獨(dú)專(zhuān)軍權(quán)。據(jù)《明史·兵志》載，洪武二十六年，全國(guó)設(shè)內(nèi)外衛(wèi)329個(gè)，單獨(dú)的千戶所65個(gè)；明建國(guó)之初，大約有軍隊(duì)180多萬(wàn)，這些軍隊(duì)全部都編制在衛(wèi)所之中，鐵嶺衛(wèi)就是其中之一。

　　明朝收復(fù)東北的時(shí)間比關(guān)內(nèi)晚。明朝建立於公元1368年，當(dāng)時(shí)東北地區(qū)還在元朝遼陽(yáng)行中書(shū)省平章劉益手中，洪武四年二月，劉益派人攜遼東地圖和錢(qián)、糧、馬簿冊(cè)，向明請(qǐng)降。明朝遂在遼陽(yáng)置遼東衛(wèi)指揮使司，委劉益為指揮同知，仍駐遼陽(yáng)。這是明朝接管遼寧與在遼東置衛(wèi)的開(kāi)始。

　　不久，元朝舊部平章洪保保殺了劉益，后投元將納哈出；朱元璋得知后，一面派人招降納哈出，一面派馬云、葉旺二人領(lǐng)兵從山東渡渤海進(jìn)入遼陽(yáng)，將遼東都衛(wèi)改為定遼都衛(wèi)。洪武八年，明在全國(guó)變更體制，設(shè)都指揮使司，定遼都衛(wèi)遂改為遼東都指揮使司，統(tǒng)領(lǐng)東北各地衛(wèi)所。當(dāng)時(shí)遼東都指揮使司轄境“東至鴨綠江，西至山海關(guān)，南至旅順口，北至開(kāi)原”。遼東都指揮使司的基本職能是“總轄遼東諸衛(wèi)兵馬，修治城池，以鎮(zhèn)邊疆”。置鐵嶺衛(wèi)就在這一時(shí)期。

       初置遼東都司時(shí)，遼東地區(qū)與朝鮮的邊界依習(xí)慣分于鴨綠江。洪武二十一年，朱元璋詔命遼東，依元朝時(shí)期疆界為大明與朝鮮的邊界，并任命指揮僉事劉顯到原元朝時(shí)期的邊界古鐵嶺建衛(wèi)，名鐵嶺衛(wèi)。古鐵嶺在今朝鮮江原道元山南，距平壤約150公里；元初時(shí)曾為中朝邊界，后為高麗奪回，將邊界推至鴨綠江，古鐵嶺成為朝鮮腹地。因而，朱元璋依元朝舊疆置界的決定遭到朝鮮的頑強(qiáng)抵制，后經(jīng)朝鮮人長(zhǎng)時(shí)期交涉，明朝作了讓步，并于5年以后即洪武26年將鐵嶺衛(wèi)遷到古銀州城，從此這里便以鐵嶺這個(gè)名字名世。