原來徐世勣曾是魏公李密手下的左武侯大將軍。武德二年，魏公李密因兵敗王世充而歸附於大唐，徐世勣仍駐守在舊地。

有一天，他對長史郭孝恪說：「現在魏公已經歸附大唐，這裏的人和土地都歸魏公所有，我如果自己上表獻給朝廷，這就是利用主上的失敗，來為自己邀功，以求換取富貴，我視此為恥辱。現在應該把州縣的所有土地和軍人戶口等整理登記造冊，然後全部呈交給魏公，讓魏公自己獻給朝廷，這樣就是魏公的功勞了。」

決定後，徐世勣便派出使者前去給李密送信。使者到後，唐高祖李淵聽說沒有要上表的奏章，反而只有要呈送給李密的信件，因此感到非常奇怪，使者無奈只有如實相告，將徐世勣的真實想法上奏李淵。

李淵聽後，高興的說道：「徐世勣感念恩德推讓功勞，真是位忠純厚道的臣子啊！」於是授徐世勣為黎陽總管，萊國公，不久又加右武侯大將軍，封曹國公，賜姓李氏。