“父帅，退兵吧！”李建成上前劝道：“如今军中粮草也用不了几天了。秋雨绵绵，太原军供也接济不上。急切之间，又不能进军攻打宋老生。在这贾胡堡，进退维谷，实在是不利啊！”
“只好如此了。”李渊命令身边的校尉，”召集各部将佐开会，商议回师之事！”
会议上，裴寂积极赞成回师，他说：
“宋老生、屈突通连兵据险，不易即日攻下。突厥贪而无信，惟利是图。刘武周又投靠胡人。太原为一方都会，军供基地。义兵家属，皆在是处，一旦有失，后果不堪设想。如今天雨路滑，粮草接济不上，与其在这耗着，不如还兵，选救根本，再作道理。”众将佐担心太原的家属，怕有闪失，纷纷赞成裴寂的话，李渊也频频点头。
◎一个精密的作战方案
独有李世民表示强烈反对，他挥舞手臂，高声说道：“今禾菽遍野，何忧军粮不继。宋老生虽与屈突通连兵，远水难救近火。老生虽据势险要，然为人轻躁，略施小计，可一战而擒。至于刘武周，虽与突厥交好，却相互猜忌，刘武周虽贪太原之利，岂能近忘马邑老巢？我义兵原为救苍生于水火，当先入长安，号令天下，岂可一遇小敌，遽尔班师！今若退却，诸军不明原因，可能会惊恐、猜疑。一旦发生事变，还守太原一地，何以自全？”
李世民一番话说得慷慨激昂，入情入理。李渊却不为所动，拿定主意要退兵。当即下令道：“李建成后军改前军，于今日午后开始撤退。我中军和李世民所部于明日上午和下午，顺序撤退。”命令一下，众将士一哄而散，分头做准备去了。李世民留了下来，又苦劝父亲一番，李渊不听。
夜深沉，难入眠。李世民站在军帐门口，思虑万端。雨声沙沙，在风中斜斜地落着，远雷在不知名的地方轰鸣，不断有耀眼的蓝光划破沉沉的夜空。李世民想起在晋阳宫促使父亲起兵的那一天，想起自己无数次憧憬过的宏基伟业。此次出兵长安，不过是漫漫征途要走的第一步，要把这万里江山变成李氏的天下，还不知要经过多少恶战，多少磨难。但眼下小小的几场雨，三、五句传言，竟促使父亲退兵。这决不可成就大事。
想到这里，李世民再也沉不住气了，他一头冲进黑夜的雨幕，向父亲所住的大帐跑去，几里远的路，好像一霎间就跑到了，汗水、雨水和在一起，他气喘吁吁，浑身透湿来到父帅的帐前，却让放哨的卫兵挡住了。帐内漆黑，没有灯光，父帅已经就寝。李世民心急如焚，却不得入内，急得他蹲在地上，放声号哭起来。
帅帐里亮起灯来，钱九陇走出帐来，召李世民说：“大将军传您进帐。”
烛光下，但见李渊围着被子坐在床上，见李世民垂手站立，浑身湿透，还不停地抹眼泪，当父亲的有些心疼，问：
“夜已深沉，我儿不去歇息，大雨之中，因何在帐外啼哭？”
李世民正色说：“今兵以义动，进战则克，退还则散。众散于前，敌乘于后，死亡在于目前，儿焉能不哭！”
李渊似有醒悟，说：“你哥李建成已领左军先退，如之奈何？”
李世民拱手道：“我右军未发，正严装待命。左军虽发，但行犹未远，请令孩儿派人去追回！”
“你真有把握打败宋老生？”
“宋老生轻躁，破之无疑，定业取威，在此一举。儿愿亲率精兵，捐躯力战！”
“但破了宋老生，进军长安，谁能担保李密不心怀忌嫉，发后袭我？”李渊担扰地说。
“李密恋于仓米，没有远略，父亲当致书于李密，许结为盟友。可卑词推其为盟主，其必妄自尊大，不复于我威胁也。”
见儿子说得头头是道，李渊禁不住心动起来，披衣下床，在地上走了两圈，毅然命令道：“立即派快马将左军追还！”
李世民一听，精神抖擞，向李渊一施礼：“谢父帅听孩儿进言。”
李渊笑道：“成败皆在你，连我这个当父亲的也要听你的。”
过了几天，天遂人愿，雨过天晴。李渊命令部队晾晒铠甲，整理行装，准备进军。恰在这时，太原兵运粮草也来了。
三军略事休整。李渊即率大军由山中小道