他和單雄信與王伯當的明爭暗鬥是全軍公開的祕密，說到底還是草莽氣息濃重，一山不容二虎。
王伯當是李密的義弟兼徒弟，從小就跟着李密出生入死、忠心耿耿，論和李密的關係，天下無人能及，就連一起參與楊玄感之亂的房玄藻也遠遠不如。所以王伯當能夠出任左屯衛大將軍、吳郡郡王這種職位屬於情理之中的事情。
而單雄信和徐世績在瓦崗軍資歷雄厚，軍中威望極高，再加上他們在關鍵時刻幾次支持李密改制，爲瓦崗從亂匪走向正式建造的魏國做出了極大貢獻，論功行賞，他們二人也被封爲大將軍、郡王。
號稱魏國第一將的單雄信和王伯當都是郡王，但在官職上卻有了高下，兩人都是屯衛大將軍，不過向來都有左上右下之說，於是王伯當高出單雄信半籌，這其實是親厚上的區別。
可就是因爲高了這麼一點，單雄信名爲大將軍，實際上卻淪爲魏國軍中第三號人物，使他心中極爲不服，他覺得王伯當寸功未立不說，還先後丟失了洛口城、金墉關等要地，有何資格爬到他的頭上
相對而言，徐世績識大體、顧大局、大度有方，每次指揮行軍作戰都能籌劃有度。臨敵應變是合乎機宜。與人一起謀劃計策時，能辨別好壞，聽到別人有好計謀，便聽從而爲。所得的賞賜、功勞大都分給手下將士。因此將士們都願意爲他效死力。
他深知魏國根基不穩，遠不是內鬥之時，必須要齊心協力才能共度難關，故而當起了和事佬，結果卻沒人理解他的苦心，不但單雄信不爽、王伯當也覺得他是左右逢源的小人一個，更因爲他和單雄信是生死之交，對他十分敵視。
當初李密本來是給徐世績安排孫長樂、聞人遂安、樂伯通當副將的，可因爲孫長樂是王伯當的人，不甩徐世績的賬，於是把陳智略換了來。
徐世績現在的心情也異常沉重，前天傳來消息稱，杜伏威並沒有南下輔助張鎮周，而是虛晃了一槍，趁着兵力空虛之際，佔領了沿海的東海郡，與此同時，尉遲恭率領三萬鐵騎模渡淮水，入侵了下邳郡，這兩郡在江都未失之時，都是處於腹心之地的內郡，幾乎沒有什麼像樣的兵，所以二將來襲來之時，幾乎沒有打過一仗，所到之處，各縣官吏紛紛棄城而逃。
從眼前的局勢來看，他們完全被隋軍牽制住了，個個都有淪爲孤軍的危險，依照徐世績的想法，最好是趁着隋軍尚未完成分割包圍之時，乾脆就放棄處於四戰之地的彭城，合兵一處，堅守梁郡、譙郡、淮陽即可，只要堅持一年半載，沒準天下有變，魏軍能夠得以突圍。
“將軍，不好了，不好了。”
忽有一名親兵帶着另一個風塵僕僕的士兵很快就出現在了徐世績的面前。
徐世績轉身問道：“何事如此驚慌”
被帶來的士兵上氣不接下氣的說道：“將軍，梁郡方向來報，黎明時分，宋城被隋將裴行儼、高雅賢攻破，陳智略、陳紹、劉智等文武盡皆戰死。”
“什麼”
徐世績聽了這話，手不由得一緊，將桌案上的文房四寶打翻在地。
偏將樂伯通拱手說道：“將軍，請給末將一萬兵馬，末將立刻前去救援宋城”
“來不及了，來不及了”徐世績搖了搖頭道：“裴行儼是隋軍之中的宿將，楊侗發動的大戰從來沒有缺席過，這些年一直獨自領兵，他怎麼會給我們救援的機會而且他們來去如風，我想虞城恐怕也是陷落多時了。”
“虞城有五千守軍，不會這麼快淪陷吧”樂伯通有些不太相信裴行儼會這麼快。
“樂將軍有所不知，隋軍主將甚是霸道，十分推崇楊侗提出的閃電戰，日行數百里很正常，裴行儼這人算是張須陀的帶出來的徒弟，也是一個霸道的急性子，若是虞城守軍不降，他必定下令攻城，怎麼會給我們救援時間更何況虞城只是一座小城，根本堅守不住多久。”
還有一句話徐世績沒有說，那就是魏國岌岌可危，朝不保夕，失去主將掌控的將士怎麼可能爲魏國陪葬
聞人遂安嘆了口氣，滿臉憂愁的說道：“素聞隋軍沒有步卒，而彭城全郡無險可據，若隋軍四面合圍，咱們只怕難以堅持多久啊。”
這話說到衆將心坎裏去了，他們的軍隊雖然號稱十萬，可分守各處之後，能夠當作機動之軍的兵力極少，而因爲楊恭仁兵勢過多，他們甚至連兵力都抽調不出。要是隋軍步步緊逼，拼消耗也能把他們耗死，打都不用打。
擺在徐世績面前的難題，不是去救援梁郡，而是如何率領彭城之軍脫困而出。
梁郡那裏既然已經落到了隋朝之手，想要奪回幾乎等於不可能，派兵過去的話，少了是給裴行儼送人頭、送功勳，兵馬多了，楊恭仁、尉遲恭、杜伏威忽然攻來又咋辦
退一萬步來說，就算是奪回了梁郡，也沒有什麼戰略意義了，裴行儼的兵馬都是騎兵，來去如風，在哪兒不能落腳
沒有糧食，他可以去潁川，可以去滎陽、濟陰，也可以跑去跟楊恭仁匯合，要是大膽一點的話，還能殺入譙郡，就地打秋風就是了。
關鍵是人家兵馬不少，奪回梁郡的可能性小得可以忽略不計，再說了，他徐世績要是大舉出兵，楊恭仁、尉遲恭、杜伏威和潁川的謝映登難道還會坐看熱鬧不成
裴行儼佔領梁郡的目的自然不用多說，肯定是爲了掐斷彭城跟譙郡、淮陽的聯繫，因此如何打通與淮陽的聯絡，保持兩者的聯繫，就成了眼下最大難題。
面對着兵多將廣、裝備精良、士氣高昂的隋軍，徐世績心中大生無力之感，終於體會到了李唐這些年的酸甜苦辣了，在絕對的實力面前，縱然你有萬千計謀，都翻不起一朵浪花，只能束手束腳的順着對方的節奏來辦。
衆將也全都沉默不語，思考着解決問題的方法。
聞人遂安忽然提議道：“自古以來，久守必失，依末將之見，不如放棄彭城北部，率領大軍退入彭城，在汴水南岸防禦隋軍，與此同時，在蕭縣安營紮寨，派遣兵馬駐紮，這樣進可威脅梁郡碭山、下邑，退可保譙郡未失，只要蕭縣在手，我們與聖上的聯繫就不會斷。反而因爲縮小了防禦範圍，彼此之間的支援也近了很多、便捷很多。”