南宋迁都临安，大兴土木，筑宫殿，建园林，不仅刺激了徽商从事竹、木、漆经营，也培养了大批徽州工匠。徽州是“文化之邦”，徽商致富还乡，也争相在家乡建住宅、园林，修祠堂，立牌坊，兴道观、寺庙，从而开始和形成有徽州特色的建筑风格。
本县现存的古村落雄村、江村、许等地的明清民宅，比较集中地体现了徽州建筑风格。古村落选址一般按照阴阳五行学说，周密地观察自然和利用自然，以臻天时、地利、人和和诸吉咸备，达到“天人合一”的境界。村落一般依山傍水，住宅多面临街巷，粉墙黛瓦，鳞次栉比，散落在山麓或丛林之间，浓绿与黑白相映，形成特色的风格。同时有大量的文化建筑，如书院、楼阁、祠堂、牌坊、古塔和园林杂陈其间，使得整个环境富有文化气息和园林情趣。站在高外望村落，只见白墙青瓦，层层叠叠，跌宕起伏，借落有致。
在民居的外部造型上，层层跌落的马头墙高出屋脊，有的中间高两头低，微见屋脊坡顶，半掩半映，半藏半露，黑白分明；有的上端人字形斜下，两端跌落数阶，檐角青瓦起垫飞翘。在蔚蓝的天际间，勾出民居墙头与天空的轮廓线，增加了空间的层次和韵律美，体现了天人之间的和谐。
民宅多为楼房，以四水归堂的开井院落为单元，少则2－3个，多则10多个，最多达24个、36个。随着时间推移和人口增长，单元还可以不断增添、扩展和完善，符合徽人崇尚几代同堂、几房同堂的习俗。民居前后或侧旁，设有庭院和小花园，置石桌石凳，掘水井鱼池，植花卉果木，甚至叠果木，甚至叠假山、造流泉、饰漏窗，交夫和自然谐和一体。在内部装饰上力求精美，梁栋檩板无不描金绘彩，尤其是充分运用木、砖、石雕艺术，在斗拱飞檐、窗棂（木鬲）扇、门罩屋翎、花门栏杆、神位龛座上，精雕细缕。内容有日月云涛、山水楼台等景物，花草虫鱼、飞禽走兽等画面，传说故事、神话历史等戏文，还有耕织渔樵、仕学孝悌等民情。题村广泛，内容丰富，雕刻精美，活生生一部明清风情长卷，赋予原本呆滞、单调的静体以生命，使之跃跃欲动，栩栩如生。
境内还保存众多的明清祠堂、牌坊，建筑风格也颇具特色，与明清民居称为“古建三绝”。矗立于县城的许国石坊、北岸吴氏祠堂的石雕《百鹿图》和《西湖风景》，大阜潘氏祠堂的“五凤楼”砖雕和《百马图》木雕，分别体现了徽派“三雕”艺术的最高水平。