匈奴單于逼蘇武投降。蘇武說:「如果卑躬屈節,有辱使命,即使活著,又有何面目再回到大漢!」說完,拔刀刺入自己的身體。經過搶救,蘇武慢慢甦醒過來。單於很欽佩蘇武的氣節,早晚都派人問候。
蘇武逐漸痊癒,單於派人來逼降。舉劍威脅蘇武,蘇武紋絲不動;用功名富貴誘惑蘇武,蘇武閉口不答;歸降匈奴、背叛漢朝的衛律來好言勸降,蘇武破口大罵。單於見蘇武如此忠心,更加想讓他歸順,就把他囚禁在一個大地窖中,斷絕他的飲食。當時正下大雪,蘇武躺在地上,吞咽雪片和衣服上的氈毛,幾天後竟然未死。匈奴人以為有神靈庇護,便將蘇武放逐到北海荒無人煙的地方,讓他放牧一群公羊,並對蘇武說:「等到公羊能產出羊奶,你就可以回國了。」隨同蘇武出使的常惠等使團中不肯投降的官員,也被分別扣留在其它地方。
蘇武被放逐到北海邊,沒有吃的,就挖鼠洞裏的草籽吃。他手持漢朝的符節,時刻不離,隨身攜帶,以致節杖上的毛纓全脫落了。過了很長時間,單於又派歸降的李陵來到北海邊,擺筵勸降。
李陵與蘇武是舊交。李陵說:「在這荒無人煙的地方白白受苦,你的信義節操,又有誰看到呢!你的兩個兄弟,先前已都因罪自殺;你母親也已不幸去世;你的夫人年輕,聽說已經改嫁別人了;只剩下兩個妹妹、兩個女兒、一個兒子,如今又過了十幾年,是否還在人世,還不知道。人生如朝露,你又何必長久的如此自苦!我剛投降匈奴時,精神恍惚,像要發瘋,恨自己辜負漢朝,還連累老母被拘禁牢獄。你不願歸降匈奴的心情,怎麼會超過我!況且皇上年事已高,法令變化無常,大臣無罪而被抄殺滿門的達數十家,安危不可知,你還要為誰這樣做呢!」蘇武說:「為臣的侍奉君王,就如同兒子侍奉父親。兒子為父親而死,沒有遺憾。你一定要我投降,就讓我死在你的面前!」李陵見蘇武一片至誠,長嘆道:「唉!你真是義士!我與衛律的罪過上通於天!」賜給蘇武牛羊數十頭。
後來,蘇武得知漢武帝去世的消息後,一連數月,每天早晚面對南方號啕痛哭,甚至吐血。
等到匈奴的新單於即位,要求與漢朝和親。漢使來到匈奴,要求放蘇武等人回國,匈奴假稱蘇武已死。後來漢使又來到匈奴,蘇武以前的手下常惠暗中面見漢使,教使者對單於說:「漢天子在上林苑射獵,射下一隻大雁,雁腳上繫著一塊寫字的綢緞,上面說蘇武等人在某湖澤之地。」使者大喜,按常惠之言責問單於。單於環視左右侍從,大吃一驚,向漢使道歉說:「蘇武確實還活著。」這才將蘇武等不肯投降的漢臣放回。
蘇武一行來到長安後,漢昭帝詔令蘇武用牛、羊、豬各一頭,以最隆重的儀式祭拜漢武帝的陵廟,封蘇武為典屬國,品秩為中二千石,並賞賜蘇武錢二百萬、公田二頃、住宅一所。蘇武被扣留匈奴共十九年,去時正當壯年,歸來時頭髮、鬍鬚全都白了。
後來,漢宣帝為表彰輔佐大臣的功勞,便命人在麒麟閣上,為他們繪製畫像,描繪容貌,註明官爵、姓名,共十一人,其中就有蘇武。