公元前221年，秦统一中国，主要的外来威胁已转为北方匈奴的骚扰和岭南少数民族的叛乱。
始皇三十年（前217年）秦始皇巡游前往碣石时，曾派燕人卢生访求仙人，卢生回来后，为了向秦始皇说明鬼神之事，就奏上了一份谶纬图书。
秦始皇看到书中有“灭秦者胡”的言语，对匈奴问题更加重视，于始皇三十二年（前215年）派将军蒙恬率军30万北击匈奴，由长公子扶苏做监军，收复了沿黄河以东直至阴山的大片土地，设立了44座县城。
随后，秦始皇一方面命令蒙恬渡河攻取高阙、陶山等地，一方面又迁徙犯了罪的人进驻新设的44县。并于始皇三十四年（前213年）下令焚书的同时，又令发50万通人、商人、赘婿之人修筑长城，戍守五岭。
长城本是秦统一以前许多诸侯国家就有的沿着国界修筑的防御性工事。尤其是位居北方的秦国、赵国和燕国，还都分别修筑了防御匈奴进袭的北长城。
其中燕国有两条长城，一条是西起造阳（今河北省独石口）、东至辽东，为防胡人而修筑的北长城，另外一条是用以防备齐国和赵国的南长城。
赵国也有两条长城，北长城西起高阙（今内蒙古临河）东至代地（今河北省蔚县）用以防御匈奴的骚扰，而南长城则是为防备齐国和魏国而沿着漳河修筑的。
秦国也有一条西起临洮（今甘肃省岷县）向东北经固原（今宁夏省境内）直至黄河的北长城，和与赵国魏国临界的两条南长城。除此以外，当时还有一条沿着洛水修筑的，魏国防备秦国的长城，以及齐国、韩国、楚国等几个国家之间的长城。
秦、赵、燕三个国家的北长城本是三条彼此互不衔接的长城，秦始皇下令重新修筑长城，就是要将诸侯国之间的那些已失去使用价值且又妨碍交通、妨碍统一集权的长城拆除，而将北面的三段长城衔接在一起，以建成一条完整的防御工事。
秦国最早的长城始建于简公七年（前408年）。是为了防备魏国而沿洛河修筑的，称为“堑洛”。到了惠文王元年（前324年）为防备赵国，又修建了位于洛河中上游沿岸的一条长城，称为“筑上都塞”。
秦国的北长城修筑于昭襄王时期，当时有个叫义渠的戎族人国家，其戎王曾与昭襄王的母亲宣太后私通淫乱，还生了两个私生子。后来宣太后在甘泉宫中用计杀掉了义渠戎王，又起兵攻破了义渠国。从此，秦国的疆域包括了陇西、北地、上郡等地，便在北面修筑长城以御胡人。
秦国的这条北长城从临洮起直向东北伸延，到达了今陕西省安塞境内则分为两支，一支止于秦上郡（今陕西省榆林）的肤施附近，另一支一直到达了今内蒙古自治区托克托县十二连城附近的黄河岸旁。
秦始皇下令修筑的长城，就是以原有的燕、赵、秦三国的北长城为基础的，不仅要把这三段长城连成一线，而且还要扩大加固，使之成为一座完善的防御体系。这在当时而言，其人力与物力的投入必然是庞大的。为此，秦始皇不断强制性征调民夫百姓和派驻军队，并把有过失的官吏和违反焚书令的获罪者都罚去修筑长城。
这对于战乱定息未久，生产力尚未恢复，人民生活尚未安定、尚未得到喘息之机的国家来说，实在是很困难了，但从后来汉初中匈奴对中原地区的破坏情况而言，此举谓势在必行。
秦始皇为抵御匈奴而下令修筑的长城，在工程建筑上主要由关隘、城墙、城台、烽燧四部分组成。关隘又叫关城，一般设立于高山峡谷等险要之处，或扼守交通要塞，可以少数兵士抵御众多敌兵，起到“一夫当关，万夫莫开”的作用。
墙身内部的一面，每隔不远就有一个券门，是用石砖砌成的拱顶门，有石阶通向墙顶供守城兵士上下。
城台又分为墙台、敌台和战台三种，相隔半里左右而设，凸出墙外。有的不设敌楼，只是外砌垛口，内开铺房供兵士巡逻放哨。有的设双层敌楼，楼下砌筑屋室供小队兵士驻守。
烽燧也叫烟墩或烽火台。或设于高山之颠，或设于平地转折之处，或设于敌楼之顶，专供传递军情而建，如遇敌情，白天燃烟，夜间举火。
秦始皇在下令修筑长城的同时，不仅派大军沿长城驻守屯防，而且还在长城附近一带，设立了陇西（今甘肃省东南部）、北地、上郡（今陕西省西北部）、九原、云中（今内蒙古托克托县东北）、雁门（今山西省西北部）、代郡（今山西省东北部及河北省蔚县一带）、上谷（今河北省西北部）、渔阳（今北京市东北部）、右北平（今河北省喜峰口至内蒙古喀喇沁旗以南）、辽西（今辽宁省东南部）等十二个郡。
以管辖和开发长城沿线的地方，并大量移民前往开垦，以保证边防供应。还开辟了驰道、直道以加强边关与中央的联系。
长城的建成，在保护中原地区的政治稳定、经济发展、人民生活诸方面起到了一定的作用，也为建筑艺术留下宏伟的篇章。
