匈奴單于逼蘇武投降。蘇武說：「如果卑躬屈節，有辱使命，即使活著，又有何面目再回到大漢！」說完，拔刀刺入自己的身體。經過搶救，蘇武慢慢甦醒過來。單於很欽佩蘇武的氣節，早晚都派人問候。

蘇武逐漸痊癒，單於派人來逼降。舉劍威脅蘇武，蘇武紋絲不動；用功名富貴誘惑蘇武，蘇武閉口不答；歸降匈奴、背叛漢朝的衛律來好言勸降，蘇武破口大罵。單於見蘇武如此忠心，更加想讓他歸順，就把他囚禁在一個大地窖中，斷絕他的飲食。當時正下大雪，蘇武躺在地上，吞咽雪片和衣服上的氈毛，幾天後竟然未死。匈奴人以為有神靈庇護，便將蘇武放逐到北海荒無人煙的地方，讓他放牧一群公羊，並對蘇武說：「等到公羊能產出羊奶，你就可以回國了。」隨同蘇武出使的常惠等使團中不肯投降的官員，也被分別扣留在其它地方。

蘇武被放逐到北海邊，沒有吃的，就挖鼠洞裏的草籽吃。他手持漢朝的符節，時刻不離，隨身攜帶，以致節杖上的毛纓全脫落了。過了很長時間，單於又派歸降的李陵來到北海邊，擺筵勸降。

李陵與蘇武是舊交。李陵說：「在這荒無人煙的地方白白受苦，你的信義節操，又有誰看到呢！你的兩個兄弟，先前已都因罪自殺；你母親也已不幸去世；你的夫人年輕，聽說已經改嫁別人了；只剩下兩個妹妹、兩個女兒、一個兒子，如今又過了十幾年，是否還在人世，還不知道。人生如朝露，你又何必長久的如此自苦！我剛投降匈奴時，精神恍惚，像要發瘋，恨自己辜負漢朝，還連累老母被拘禁牢獄。你不願歸降匈奴的心情，怎麼會超過我！況且皇上年事已高，法令變化無常，大臣無罪而被抄殺滿門的達數十家，安危不可知，你還要為誰這樣做呢！」蘇武說：「為臣的侍奉君王，就如同兒子侍奉父親。兒子為父親而死，沒有遺憾。你一定要我投降，就讓我死在你的面前！」李陵見蘇武一片至誠，長嘆道：「唉！你真是義士！我與衛律的罪過上通於天！」賜給蘇武牛羊數十頭。

後來，蘇武得知漢武帝去世的消息後，一連數月，每天早晚面對南方號啕痛哭，甚至吐血。

等到匈奴的新單於即位，要求與漢朝和親。漢使來到匈奴，要求放蘇武等人回國，匈奴假稱蘇武已死。後來漢使又來到匈奴，蘇武以前的手下常惠暗中面見漢使，教使者對單於說：「漢天子在上林苑射獵，射下一隻大雁，雁腳上繫著一塊寫字的綢緞，上面說蘇武等人在某湖澤之地。」使者大喜，按常惠之言責問單於。單於環視左右侍從，大吃一驚，向漢使道歉說：「蘇武確實還活著。」這才將蘇武等不肯投降的漢臣放回。

蘇武一行來到長安後，漢昭帝詔令蘇武用牛、羊、豬各一頭，以最隆重的儀式祭拜漢武帝的陵廟，封蘇武為典屬國，品秩為中二千石，並賞賜蘇武錢二百萬、公田二頃、住宅一所。蘇武被扣留匈奴共十九年，去時正當壯年，歸來時頭髮、鬍鬚全都白了。

後來，漢宣帝為表彰輔佐大臣的功勞，便命人在麒麟閣上，為他們繪製畫像，描繪容貌，註明官爵、姓名，共十一人，其中就有蘇武。