劉備的探馬來報說是呂布大軍向他後面殺了過來，這樣自己大軍受到前後二面夾擊。這怎麼抵抗啊，搞不好要全軍被滅呢。劉備三兄弟馬上研究對策，三人研究了半天，也知道情勢萬十緊急，如果再不跳出呂布和袁術二路大軍的包圍，那將是死無葬身之地。
劉備三兄弟研究再三後決定，乘陰雨天快速向東撤退，放棄盱眙，想辦法用最快的時間把廣陵郡給攻打下來。只要能在很短的時間內佔領廣陵城，那憑藉廣陵城池還能堅守一下，否則根本無法抵抗呂布、袁術二路大軍的聯合進攻。
而紀靈大軍雖然知道劉備率大軍撤退了，但懼怕關羽的勇猛，還是未敢出兵追殺。等藏霸、曹性二人率大軍殺到時，劉備大軍早就逃出了包圍圈。
藏霸、曹性率大軍和紀靈的大軍會合後，藏霸馬上向紀靈討要袁術所承諾的糧食、黃金、戰馬、絲綢等物資時。紀靈向藏霸道：“將軍你先回軍，至於這些物資嗎我不太清楚，等問過我家主公後再派人送往徐州。”
藏霸、曹性二人別過紀靈，率大軍返回徐州，並向呂布彙報了情況。呂布聽後心中正在疑惑之際時，忽然聽說袁術派人送來了書信。書中大體意思是：藏霸、曹性二人率大軍雖然來了，但沒有和劉備大軍交戰，何況劉備未除，這承諾的物資只能等消滅劉備後才能相送。
呂布看完書信後，大聲怒罵道：“袁術小兒無信，承諾之事不想兌現，我這就起兵討伐袁術。”
陳宮聽後搖搖頭，馬上道：“將軍，現在不能出兵討伐袁術，袁術佔據壽春，兵多糧廣，城牆高厚，防禦能力極強，那能一下子就討伐得下來的，還是從長打算吧。”
呂布聽後道：“那公臺的意思是我就必須忍受袁術的戲弄了”
陳宮道：“將軍，現在徐州剛掌控，人心不穩，旁邊還有曹操在虎視眈眈，隨時都會出兵前來進攻徐州。如果將軍現在出兵討伐袁術，那徐州必定空虛，曹操可是狡猾得很，有如此良機，難道他就不會落井下石，出兵端將軍的老窩。”
呂布聽後道：“公臺，那你有啥想法”
陳宮再次看了下呂布這才慢騰騰的道：“將軍，現在不但不能對袁術動武，更不能對劉備趕盡殺絕。將軍不論和劉備還是袁術動武，都會有損實力，一旦將軍在實力大損，那曹操會放過你嗎將軍應該把劉備請回來，讓他到小沛去駐紮，這樣劉備反到變成了將軍的左膀右臂。有劉備在小沛幫將軍駐守，其實就是在幫將軍抵擋曹操的入侵。將軍就有時間休養生息，等有足夠的實力後，還可讓劉備當你的先鋒官呢。只要將軍先把袁術給滅了，佔據非常富裕的淮南大片土地，其實力又上了一個檔次；隨後再把青州收到囊中，那將軍就有能力對抗曹操和幷州的呂寧了。搞不好還能縱橫天下呢，到那時，誰還敢和將軍作對。”
再說劉備三兄弟，接續陰雨天快事撤退，在去廣陵的路上，被袁術的大軍在夜間端了營寨，大軍損失非常慘重，從徐州出發時的三萬大軍，現在是一萬都不到了。要不是有關羽、張飛二大牛人抵擋的話，估計怕是要全軍覆沒。
劉備三兄弟率領近萬名殘兵再次後退，一路上是士氣低落，三兄弟也是唉聲嘆氣，不知道現在手頭這點兵馬能否攻打得下來廣陵城池尼，他們心中是一點譜都沒有。
劉備三兄弟正在低頭喪氣，前途渺茫之時，呂布的信使到了。劉備看完後大喜，忙將書信遞給關羽、張飛二人觀看。看後關羽道：“大哥，呂布此人毫無信譽可言，他的信能相信嗎搞不好又是陳宮設計讓我們鑽呢”
張飛也道：“是啊大哥，呂布是個卑鄙無恥，二面三刀的人，他殺自己親生結親，斬義父丁原、董卓，害王匡，佔曹操兗州，搶大哥的徐州。這些人那個對呂布沒有恩情啊，現在他還會收留我們，怕真如二哥說的是陳宮的陰謀詭計，是想把我們騙到徐州城去好加害呢。”
劉備聽了二兄弟的話後想了想道：“我們都敗成這樣了，呂布有必要再來誘我們進城去加害嗎他隨便派支大軍過來追我們，我們還能逃跑得了嗎既然他來信示好，並讓我們駐紮小沛，我們就不要懷疑他了，再說我們現在也沒有地方可去啊。”
劉備三兄弟率殘兵到達徐州城效時，呂布爲了消除劉備的疑慮，派人把三兄弟的家眷給送了出城。劉備的老婆甘氏告訴說是日夜有百名護衛守衛，任何人不準入內，每日還送米糧、物資到屋等情況。
劉備道：“我就猜測呂布必不會害我們的家眷，這下你們二兄弟相信了吧，呂布是真心請我們去小沛駐紮的。”
張飛恨呂布搶佔了他守衛的徐州城池，不願意進城去，他不想見呂布，就先護送三兄弟的家眷回小沛去了。劉備則帶上關羽進城去向呂布致謝。呂布又派人送了好多糧食、絲綢等物資到小沛去給劉備，至此，呂布和劉備的關係纔有了點改善。