南北朝時，李綱任齊王宇文憲的參軍事，後來宣帝準備殺宇文憲，特地將李綱等這些宇文憲身邊的人召來，讓他們編造羅織罪名誣陷宇文憲，但李綱誓死不屈從，沒有昧著良心說以求開脫自己和邀功請賞。宇文憲最終被殺，此時，他生前身邊的大小官吏都躲的遠遠的，只有李綱親自去用車子運回屍體，並且扶著棺材嚎啕痛苦，安葬後方才離去。後來，宇文憲的女兒寡居，李綱總是盡力去接濟幫助她，宇文憲的女兒視其為親生父親一樣。

後來李綱在隋朝太子楊勇身邊任洗馬，楊勇荒淫無道，李綱多次苦心規勸，他都拒不採納。後來隋文帝廢掉了楊勇的太子之位，並且嚴厲譴責楊勇身邊的官吏，這些人沒人敢說話，只有李綱說道：「陛下平常不教育太子，所以太子才到了今天這個地步。太子資質中等，如果能讓賢良的人輔佐完全可以從善，繼承皇業了，如果讓不肖之徒引導，就會從惡，為甚麼總讓那些擅長歌舞的僕役和小人每天待候在太子身邊呢？這難道是太子一人的罪過？」隋文帝聽後，惋惜道：「是朕的過失啊！」見李綱如此正直敢諫，便授任他為尚書右丞。

當時楊素等奸臣掌權，李綱始終不肯曲意逢迎，因此受到楊素等人的仇視，多次加害侮辱他，幾乎把他置於死地，可李綱仍舊一如既往的堅守自己的原則。
曾有精通占卜預測的人對李綱說：「你會擔任卿相，但要等改朝換代後才能如願。」並告訴他：「做官不知引退，最終會因為不能勝任而身敗名裂的。」李綱於是便隱居了起來。

後來改朝換代，大唐立國，李綱進京拜見唐高祖李淵，李淵敬重他的賢良正直和氣節，所以非常重用他，先後授為禮部尚書、太子詹事。李綱起先在東宮輔佐太子建成，但建成漸漸開始疏遠賢良，親近奸臣，李綱進諫無果後請求退休，李淵生氣的罵他：「你能去給何潘仁當長史，卻羞於給朕當尚書嗎？」李綱叩頭說：「何潘仁是個賊帥，志在殘殺，然而臣每次進諫他都能停止，任他的長史，所以心中無愧。陛下現在大功告成，常常自以為是，臣的話就像拿石頭扔進水裏，我還敢久任尚書嗎？而且臣侍奉東宮，太子又不聽我的勸告，所以要上交官印。」李淵拒絕說：「朕知道你是個正直的人，希望你自始至終都能輔助我的兒子。」後來建成越來越不成器，李綱再次堅持請求退休，李淵無奈只好解除了他的尚書之職，但仍非常尊敬他。

後來太宗登基，把李綱任為太子少師，讓他輔佐教導太子，並且每次臨朝聽政，都會讓李綱、房玄齡、王珪陪同坐在身邊。

李綱一生，正直為人，以義待人，不曾因脅迫和私利而改變初衷，但求問心無愧。他雖居高位，但樂天知命，明白知足常樂的道理，所以在任職期間，曾多次稱病辭職歸隱。自李綱起，李家五世同居，他的兩個孫子也都因為捨生取義而聞名於世，為人們所稱道。