呂易忠大怒，心想你個狂生不過是個秀才而已，一味持才放曠，指着鼻子斥責道：“你個狂悖之徒，再要胡言亂語，辦你個擾亂軍心之罪！”
“哼，軍心還要我擾亂麼？”錢太沖毫不買賬，正要反脣相譏，有人過來尋找他們。
“諸位先生，請速去大營會議！”
出城的時候，錢太沖發覺城門口的諸軍已經全部換成了鎮標的人馬，個個刀槍出鞘十分嚴整。滾滾
一行人的馬匹從城門洞滾滾而過，城門口的官兵在他們出去之後並不關閉城門，城門繼續打開着，方便人馬進出。
中軍營寨裏，雖然何如賓的家丁和鎮標還保持着相當的穩定，但是這一場火箭雨使得營中的士氣已經降低到最低。許多人都在竊竊私語，認爲肯定要退兵了。
大帳之中，各營主將已經到了。他們現在已經深切知道髡賊火器的厲害，在這裏安營紮寨毫無安全感，而且牆造得再高，壕挖得再深也不抵用，髡賊的火箭能從十多裏外射過來，一射就是成百，這仗是沒法再打了。
衆將毫無戰意，主帥也覺得打不下去了。何如賓知道此時繼續堅持在澄邁安營與髡賊對峙已經毫無意義，現在軍中士氣已經瓦解，糧道又不能很快恢復。不如乘着兵力尚未受到毀滅性的打擊先行退到瓊山就糧，起碼還有能向上塞責的餘地。不過退兵這樣的決定他無權一個人做出，他把目光轉向趙汝義。
趙汝義早就想退兵了――這次討伐髡賊是明擺着必敗無疑了，剛纔的火攻嚇得他差點靈魂出竅。這樣不論前線後方的無差別遠程攻擊他還是第一次遇到。他的一個僕人在火箭攻擊中被一枚火箭直接命中當場死去。他更希望早點脫離這樣的絕地，眼見諸將都持退兵之意。也就順水推舟的同意了。
接下來又討論各營退卻的順序和聯絡的旗號、方式，何如賓知道此次退兵回去自己恐怕很難向總督向朝廷交待了，不由得面色晦暗，任由大家商議，自己不置一詞。趙汝義見他面色不好，生怕他一時想不開瘋了或者自殺――主將一死，這二萬人馬頓時就要潰散。所以他大聲對衆將道：
“我兵伐賊連勝，現石山小挫，大軍且回瓊山就食再做計較！”
當下他又說了許多鼓舞諸將士氣的話，這才把大帳中的氣氛稍稍挽回一些。決定撤退的時間定在明天一早，以免夜間突圍各部看不清楚造成混亂和迷路。
規定由陳人傑帶着瓊崖參將的本部人馬和海南本地的操軍、鄉勇走在最前面負責開路。五個參將中以湯允文的人馬最爲完整，隊伍中又大多是本地人，地形熟悉。操軍和鄉勇家鄉營盤多在瓊山、文昌一帶，讓他們進攻臨高鬥志不高，但是奪路而還的戰鬥意志應該還是有得。
各部緊隨其後且戰且走。殿後的人馬由鎮標營中軍守備，遊擊孫昌祚率領。何如賓撥給他二千人馬，其中有何如賓的騎馬家丁一百人和宋銘的一百騎。孫昌祚知道這二百騎是鎮臺大人給他保命用得。當下十分感激，表示自己將會率領人馬死戰殿後。
殿軍中還有李陌刀的火器營。這個失掉了大炮的火器營在大家看來已經毫無作用，於是李陌刀就只能帶着火器營據守營寨，最後一個退出大營撤退了。何如賓給他的指示是若是道路被截斷撤不下去，就直接退入澄邁縣城中協守。
趙汝義卻道：“學生還有些行李在城中沒有收拾……”
“本鎮即遣人去辦理。”
“不，不，”趙汝義連忙道，“其中有許多文稿書籍，學生不去，幾個下僕無知，恐怕理不清楚。”
“好，請老先生速去速回。”
趙汝義帶着奴僕飛馬趕回城內的宋宅，幕僚們也紛紛跟着回來了。這羣人一回來，宋宅並幕僚們寄居的城中各家大戶院內就亂成了一團。趙汝義這次監軍，原是準備好好的沿路搜刮一番的，等到了臨高，又能取得許多髡賊的玩器寶物。所以帶了許多空箱和僕役。雖然這次兵敗得太快，欲壑未填，但是軍中將校的孝敬、沿途士紳的奉獻，這次進得澄邁之後他又得了澄邁縣令和縣內士紳們的許多禮物。宋宗會因爲要求他庇護，也送他白銀五十兩，本朝名家字畫一幅。
他一回到宋宅，即命僕人們立刻就財貨全部裝箱捆紮，又着人即刻去徵發民夫車輛，準備逃走。
幕僚們雖然不是官，但是沿路也得到了多少不等的饋贈，也要一一裝箱帶走，他們不比趙汝義，帶着七八十個僕役――顯赫如呂易忠的，帶着三四十個僕人，一般的如錢太沖這樣的窮秀才，只有一個小僮僕而已。於是有的人只揀細軟裝箱，有的卻連饋送的幾匹當地的棉布都要帶走。一時間亂七八糟，人聲鼎沸。各家的傭人乘着收拾行李之際，乾脆在宋宅的客院內隨意搬運財物，連桌上的擺設、牆上的字畫，乃至牀上的帳幔一應全部包裹而走。宋家的傭人們一時都呼“這是遭了官賊了！”宋會宗見場面如此混亂，一面吩咐家人們將家眷老幼送到內院，一面讓全家丁壯們準備好棍棒刀槍，準備萬一的時候抵擋亂兵搶劫，自己趕緊去找常青雲。
常青雲正督促着幾個僕人將行李物件捆紮搬運。他一面大聲的指揮着僕役，一面又不斷的斥責他們辦事不麻利。有個僕人不小心將捆紮好的行李散開，幾匹本地特產吉貝佈散了一地。常青雲又接着連聲咆哮。
“突然收拾行李，這是何道理？”他驚慌不安，其實宋會宗已經猜到官軍要逃命，但是還是抱着一線希望，希望這只是移營。
常青雲因爲這他幾天招待甚爲殷勤，便小聲對他道：“實不相瞞，軍中糧草不濟，又被髡賊的火箭燒了一陣，我兵就要退回瓊山去了。”
這個消息猶如晴天霹靂，宋宗會差點沒暈過去――官軍一跑，這縣城怎麼辦？
“即要退回瓊山，不知何時再來澄邁？”
“這是軍機大事，我等如何知道？”常青雲道，“以我之見，少則三個月，多則半年。”
“這個，這個，”宋宗會大急，官兵一去，髡賊大軍即在城下，陷落城池豈非是朝夕可待的事情，“不知留下多少兵馬守禦城池？”
常青雲不耐煩道：“軍機大事，學生亦不知。”
宋宗會呆立半晌，直到有個幕僚跑來要他幫忙徵發幾輛雞公車並民夫爲自己運輸行李方纔緩過神來。連忙隨口答應着，一溜煙的往縣衙奔去。