秦于公元前221年统一了六国，嬴政成了历史上的第一个皇帝，秦只存在了十五年，时间很短，但它的历史地位却是最高的，秦皇嬴政废除了分封制，将郡县制推广到了全国，在全国设置了三十六郡，后来增到四十八郡，郡的下面是县，是两级机构，又统一了度量衡，中国真正走向了一个整体。
西汉继承了秦代的郡县制，但又在某些地域学周朝恢复了封地，大部分封刘姓国，比如高密国，胶州国，城阳国，梁国，鲁国，长沙国等等，级别相当于郡，大的国有好几个郡，统治权由各王掌握，后来发生了吴楚七国之乱，汉朝统治者觉得存在弊端，汉武帝就推行了推恩令，封国逐渐变小，难以与中央抗衡了。
对于全国的郡县，起初中央设置郡监，由中央派遣人员刺察各地，但这个职位不常设，有就设，没有就不设，不是专门机构，后来武帝时就固定了下来，叫刺史，在全国设置十四个刺史部，分别是司隶部，兖州部，豫州部，青州部，徐州部，并州部，冀州部，幽州部，荆州部，扬州部，益州部，凉州部，朔方部，交趾部。当然了还有设置西域都护府等机构，这个我们不说。开始部刺史没有固定的办公场所，因为他是巡视，走到哪里算哪里，结束了回京师复命，他们只有参劾的权利，因为他们和郡县不是上下级的权利，不能直接任免官员，后来到了东汉，刺史就不再回中央复命，有了自己固定场所，也有了任免官员的权利。开始时刺史的俸禄都要低于郡守的，他一般是有御史来担任，也就是监督机构的人来担任，主要的责任也是监督官员，而不是治理百姓，因为有了任免官员的权利，实际上郡县两级机构，变为了州，郡，县三级机构，州的概念本来比较模糊，天下九州，但是到了这里，州开始变得具体。
到了东汉末期，也就是黄巾起义之后，州的首长刺史或牧的权利变大了，并且后来朝代又分出了好多的州，由九州，变为十二州，又变为十六州，由变为二十一州等，变得越来越多，地域也越来越小，州郡的概念也逐渐变得模糊了。三国之后，西晋统一了很短的一段时间，很快又陷入分裂，有的有州，有郡，隋灭陈，统一全国，仿照汉代将州统一改为郡，建了一百九十个郡，郡守叫太守。到了唐朝，唐高祖又将郡全部改为了州，太守又改为了刺史，在边缘地带，设置总管府统领军队，后又改为了都督府加强治理，府的名称由管理外夷开始用作一般的行政单位了。有些州名称现在依然在使用，郡这个名称开始还有，后来基本退出了历史舞台，目前翻译中，英国还是翻译成某某郡吧。
州太多了，不好管理，唐太宗又分天下为十道，又一个行政地域单位出现了，目前朝鲜和韩国的翻译还是道，比如庆尚道，这十道为关内道，河南道，河东道，河北道，山南道，陇右道，淮南道，江南道，剑南道，岭南道。后来山南分为山南东道和山南西道，江南分为江南东道（浙江、福建等地区）和江南西道（这就是江西省最早的由来），又增加了京畿道，都畿道，设置了采访使，和汉代的刺史差不多，就是监察。又在边境设置了节度使和经略使。比如安西节度使，北庭节度使，河西节度使，朔方节度使，河东节度使，范阳节度使，平卢节度使，陇右节度使，剑南节度使等，后来节度使越来越多，节度使下面管军马，经略使主管绥靖，后来唐乱，中原用兵，刺史也可管兵。
宋太宗时，又将全国分为了十五路，后又增十八路，到宋神宗时，增加到了二十三路，路又是一个行政单位，如京东东路，京东西路，京西南路，京西北路，河北东路，河北西路，永兴路，秦凤路，河东路，淮南东路，淮南西路，两浙路，江南东路，江南西路，荆湖南路，荆湖北路，成都府路，潼川府路，利州路，夔州路，而成都府路，潼川府路，利州路，夔州路就是我们常说的川陕四路，简称四川，福建路，广东东路，广东西路、陕西路等。路下面分了两级，州县级，州级有府、州、军、监，管理官方经营的工矿业等并有时也管民政的为监，比如，京东东路中的东路，包括了一个济南府，七个州，青州、密州、沂州、登州、莱州、潍州、淄州，一个淮阳军。
元朝的疆域达到历史最盛，达到了汉、隋、唐、宋所没有的高度，汉与匈奴打了多年，隋搞不定高丽，唐与吐蕃、西北征战，宋就更不用说，一个西夏也难搞定，元朝灭金、夏、西辽、宋、大理、吐蕃等政权，这么大的地方，元朝统治者就在中央设置了一个中书省，号腹里，管辖山东西，河北、北京、辽宁西、内蒙古东部等地，在地方上设置了十一个行中书省，分别是岭北等处行中书省，辽阳等处行中书省，河南江北等处行中书省，陕西等处行中书省，四川等处行中书省，甘肃等处行中书省，云南诸路行中书省，江浙等处行中书省，江西等处行中书省，湖广等处行中书省，征东等处行中书省，省这个行政区划正式登上历史舞台。行中书省下面是路，府、州、军、安抚司、县。级别来说，行省、路、府、州、县五级。但也不是严格按照这五级，有的时候府、州直属于行省，有的隶属路，州有的隶属府，有的隶属路，有的隶属省。有的府、州下面没有县，反正情况比较乱。当然还有一下其它民族的区域这里不提了。
明朝是将中书省革去，设直隶两个，即北直隶和南直隶，叫京师和南京，设置十三个布政使司，分别为山东布政使司，山西布政使司，河南布政使司，陕西布政使司，四川布政使司，湖广布政使司，浙江布政使司，江西布政使司，福建布政使司，广东布政使司，广西布政使司，云南布政使司，贵州布政使司，分领下面的府、州、县，边陲重镇有九个，辽东，蓟州，宣府，大同，榆林，宁夏，甘肃、太原、固原，又设置十五个都指挥使司领天下卫所及军。
清朝同治时期，台湾、新疆列入了行省，光绪时期，将奉天、吉林、黑龙江列为东三省，清代除了府、州、县等设置外，还加了一个厅，如张家口厅，榆树直隶厅等，厅和府平级，厅本来并不是固定的行政单位，因初期知府常把自己的副手同知、通判派出分防，专管某些事务，其派出办事处名为“厅”，以后就逐渐形成为固定的行政单位。此外，在少数民族聚居地区，不宜设州置县，也设厅，派同知、通判为其长官。一般的散厅多属知府统辖，与州同级。直属布政司管辖的，称为直隶厅。