第二天，刘秀依照与众将商量好的计策，宣布率军撤离幽州。同时上表举荐彭宠为幽州牧，铫期为蓟县县宰。
因为与洛阳路途遥远，所以不待朝廷的回复，大军即拔营启程，数日之内，走了个干干净净。那幽州和涿郡等地的大户闻听，一个个弹冠相庆，非常开心自己不费吹灰之力，就挤走了一个皇上的眼中钉。
然而，只高兴了不到半个月，他们就高兴不起来了。化名刘子舆的王朗得知刘秀撤离幽州，立刻派遣他的侄儿王德，带领三万大军浩浩荡荡开了过来。先前溃逃到飞狐岭、白狼山等地的五校军残部，也再度拎着刀矛杀出了山外。
这两支部队，可不像刘秀那么讲道理。见到田庄堡寨，立刻团团包围起来索要金银细软，粮食麻布，稍不满意，都杀人放火。看到漂亮一点的少女，不管对方是否婚配，就直接往马背上绑。看到结实一些的男子，也不管对方在家中是不是独子，直接拉去充当壮丁。
如此一来，几个带头闹事的大户可是彻底抓了瞎。连忙派遣家中长子出面，向幽州牧、蓟县令和涿郡太守求救。结果，到了渔阳，才发现耿况正在生病，根本不能视事。而蓟县县令铫期，手里只有五百老弱病残，连守住蓟县都没指望，更甭说带兵去征讨五校军残部。唯一答应帮忙的只有涿郡太守王梁，可他说得也很清楚，自己势单力孤，绝对挡不住王德麾下三万大军，必须先上本向朝廷求援，待朝廷的援兵赶到，才能出马。否则，只能据涿县县城死守，无力顾及其他。
幽州距离洛阳遥远，信使即便骑着快马星夜兼程，一来一回也得大半个月。而朝廷从做出决策到兵马抵达幽州，恐怕至少得小半年。等朝廷的援兵到了，众高门大户的财产，早就被五校军给抢光了，根本不可能有任何人能够幸免。
带头闹事的大户们急得焦头烂额，无奈之下，只好先把家丁们组织起来，发放兵器，结寨自保。却不料还没等家丁们成军，刘子舆的使者带着圣旨已经先一步赶到，要求他们每家立刻出丁五百，自己携带粮草辎重若干，前去接应“官军”。五日之内若没有答复，则视为追随刘玄的叛逆，大军抵达之日，鸡犬不留。
”这，这如何是好？
“早知道这样，当初就该给刘秀一点米粮，何况他是出钱来买？”
“当初谁建议归附朝廷的？这回好了，跟朝廷走，被王朗杀。跟王朗走，将来少不得被朝廷杀，我等哪里还有活路？”
“悔不该当初……”
曹幸、谢宝、王池、崔还胜等跟朝中高官攀上亲戚的高门大户，终于发现了刘秀的好处来。一个捶胸顿足，后悔不迭。
“干脆，咱们将刘秀请回来算了。他要买粮食，就按照市面上的价格卖给他！”与死亡相比，脸皮只能算一张抹布。丞相曹竟的“族弟”曹幸，忽然有了主意，眨巴着眼睛大声提议。
这个提议，立刻得到了所有人的一致响应。众豪门大户赶紧派出信使，星夜兼程去追赶刘秀。好在刘秀也没走远，很快就被他们追上。然而，接到信后，刘秀却只是和言语色询问了一下幽州目前的情况，就命人取了铜钱赏赐了信使，然后继领军向南而行。