周南道：“既然大夥都覺得無憂寨這個名字好，那便定了。明日我等就召集全寨的人，一起到寨中山神廟前集議，待商議通過了，我們就及早動工。”衆人便都散了，回去告知友好鄰居。
寨中幾位德高望重的人都出面贊成，又有高遠等一幫年輕人起鬨，更兼有前幾日被山賊劫掠的慘痛血淚史，寨裏的人對周南提的這些建議都表示贊同，出乎周南意料，山民們尤其支持公田的事，在古代，人老了，病了，就拉出去喂狼，那可不是謠傳，是真有。自己老了，也能有個依靠不是？這些淳樸善良的山裏人，對周南這些用意本善的提議馬上就接納了，幾乎是沒人反對，建寨的事情很快就定了下來。
既然定了，又沒人提出意見，便還是以頭天在高遠家的這幾個人爲骨幹，依舊召集到了高遠家。在屋內，周南便拿出了自己的建寨圖，依照高家寨西北高、東南低的地勢，和西北面、北面、東面是懸崖，西南面、南面是緩坡的山形，決定在南面修建寨牆，寨牆上開正寨門一座，在東南角修築寨牆，在寨牆上開小寨門一座。南面寨牆和東南角寨牆之間那座不甚高、卻很陡峭難攀的小山峯，正好將兩端寨牆聯結起來，在小山峯上設置了投擲檑木、射箭的防禦點，更是讓兩段寨牆固若金湯。並且在圖上面還詳盡的劃出了建寨牆、箭樓的位置，並且標明瞭寨牆、馬面牆和箭樓規制，由老鄭頭、劉宗旺、張義、高遠等人看後，又補充了一些想法，便正式動工了。
在人員分配和安排上，由高遠、周南二人帶領護家社一百一十五人，由老鄭頭、劉宗旺、張義、高秉常四人組織各家剩餘勞力，一起就近開山鑿石，在標畫出來的位置，用“乾打壘”的方法，築起寨牆。
高芸執意也要求參加修建寨牆的事，任高遠如何勸說都沒用，無奈之下，周南想出一個折中的辦法，要高芸組織寨子裏的女子，聽從高遠、老鄭頭等人安排，做些輕巧活計，還要每天做一頓飯，供幹活的人喫。這個提議高芸倒很樂意。
一切安排就緒，便從高家寨東南角的天井口處開始修建。這裏地勢狹窄，很快就能完工，所以選擇了在這裏開始，也是想檢驗一下修築的進度和效果，以便在日後修建南面更長的寨牆時，有所提高。
天井口，寬約五丈，是一處類似於臥虎山鑽虎口的路徑。天井口正對着山賊的東南放心，在天井口的西面便是那座孤立小山峯，在天井口東面便是一處險坡，險坡再向東就是懸崖了。在天井口狹窄處，依山勢修建了一條高三丈，寬五丈的石頭寨牆，寨牆上每隔五尺便建有箭垛，可以在箭垛後射箭藏身，並在寨牆的中間修建了兩座箭樓，箭樓坐落在寨牆上，木頭搭成，高三丈，三層，每層都有箭孔，可以放箭阻殺來敵，兩座箭樓中間是一處小的寨門。寨門寬有六尺，用石塊砌成拱形，門是用厚厚的木板製成。寨門外便是天井口陡立的石階，天井口本就狹窄，現在又建起了寨牆，寨牆外面皆是陡立石階，有二十人便可將寨門牢牢守住。
只修築天井口，人都擠在那裏，反倒是浪費，周南便建議分出一半的人，去修築西北角那個缺口，就是高遠他們奔赴臥虎山時所用的那段山坳。那裏是西、北兩個方向唯一能進出山寨的所在，其餘都是更高更陡的懸崖峭壁，雖然極少有人會從那裏進入山寨，可是臥虎山山賊的前車之鑑，不得不防啊。在山坳處，沿懸崖邊，高遠他們也修建了一段長約十丈、高兩丈、寬一丈的寨牆，將那段可以攀繩而上的懸崖徹底堵死，在寨牆內側只修蓋了一所哨亭，可以臨時住人，以便及時報警，發現來敵。
周南還讓左小四在寨牆外拉上幾道繩索，繩索上又用繩索連接哨亭內懸掛的銅鈴，若有人用帶着飛爪的繩索拋上，銅鈴便會振動響起，驚醒值守的人。
天井口和西北角懸崖缺口只用了不到半個月，就修建好了。說不上雄偉壯觀，但是從寨牆外側看，三丈高、陡立難攀的石頭寨牆，再加上寨牆上的守衛，真說得上是易守難攻。
最難修建的便是寨子南面，那裏山勢平緩，沒有可以依仗的地形便利，無法以險代兵，只有一道從西山上彙集而出的一條河流。高遠和老鄭頭他們把所有人都集中到了這裏，把人按段分派好，每段有人指揮，不致人員混亂。既然無險可守，高遠他們只能用人力，在河流北側老老實實修築了一道長約一百五十丈、高約三丈的石寨牆，這裏地勢開闊，修築的寨牆，高遠他們絲毫不敢有一絲偷工減料，反而是每隔二十丈，便修築一處馬面牆，同時馬面牆的上面修築一座高約兩丈的箭樓，每隔五尺便修一箭垛。在寨牆中間位置，修了一道寬約兩丈、高約一尺的寨門，作爲高家寨的正門。平時讓寨中百姓從南門進出上下山，不用從天井口下山，天井口那裏下山雖然更近。寨牆東側與孤立小山峯連接，在這個孤立小山峯上山上又修建了一處哨所，在寨內有路可以上到哨所，平時不設人巡守，只在來敵時，纔上到哨所內，可以用石塊、木頭滾下，也是防止來敵從這裏翻山進入寨內。
一百五十多丈的距離，縱使高家寨的人都來幹活，也顯得有些喫力。周南問過了周興，和老鄭頭、高遠等人商議了一下，每天壘的最快的那段寨牆的人，一天管兩頓飯，而且每頓都有肉。
這個獎賞傳下去，進度頓時快了很多。