他對那些官員們說：「大王任性放縱，我等聽之任之，使大王迷途難返，這是為臣者最大的失職啊。」那些官員卻冷眼對之，有的說：「大王有大王的安排，你危言聳聽，就不怕大王先治你的罪嗎？」和龔遂友善的人私下勸他說：「天下是劉氏的天下，為王者嬉戲無度，這也許就是他們應有的快樂吧。眼下人人心知肚明，之所以無人進諫，不過怕給自己招禍罷了。」龔遂見無人應和，想到：即使我一人也要對大王說真話，勸諫大王。

第二天，龔遂入見劉賀。此時群臣環繞其身，劉賀正玩著打鬥的遊戲，興致正濃。龔遂眉頭緊皺，他直上前去，一下跪在劉賀面前，放聲便哭，聲震廳堂。劉賀一驚，群臣亦面面相覷。

劉賀心中生氣，厲聲道：「你無故哭號，壞我興致，你當真不怕死嗎？」

龔遂抽泣說：「臣死不足惜，請容臣將話說完。大王親近小人，不事正業，上壞朝綱，下毀清譽，如此下去，國之將亡了。您不可以不謹慎啊。臣聞‘道德不厚者，不可以使民’，請允許我選擇一些通經術有道德的侍從郎官與您共處，平時起居多誦讀詩書，熟悉禮儀，應該大有益處。臣不敢言忠，卻未忘漢室的天恩，今出言冒犯大王，懇請大王納諫。」

劉賀冷笑說：「你要陷我於不義，這也是忠臣所為？我暫不殺你，卻也不能任你以下犯上。」於是令責打龔遂，有同情龔遂的幾位大臣苦苦求情，龔遂才免受酷刑。

漢昭帝去世後，因其無子，昌邑王劉賀得以繼承皇位。消息傳來，王宮中一片歡騰，人人喜不自禁，惟有龔遂聽之更加憂慮。他對家人說：「無德者竊居高位，這並不是件好事啊。天子之位尊崇無比，人人注意，似大王無德無能，荒唐放縱，縱是恃勢而為，又豈能長久？最後終成禍事。」他的家人聽了勸他乾脆辭官不做，龔遂卻搖頭說：「為臣者雖知凶險，又怎能棄大王於不顧？大王身邊盡是諂媚之人，有我在或可讓大王有所收斂，消解此難。」

龔遂隨劉賀入京，他不時苦勸劉賀，常常跪地不起。劉賀十分討厭他，遂再不准他進見，龔遂便上書言事，仍不罷手。

昌邑王即位二十七天，終因淫亂放縱被廢。昌邑群臣被殺死的有二百多人，他們的罪名便是陷王於不道。龔遂因諍諫不止，忠心可嘉，朝廷特許他免於一死。

漢宣帝即位後，過了很長時間，渤海郡及其相鄰地區鬧飢荒，盜賊四起，太守不能制止，事態已經相當嚴重。宣帝要選一個能勝任的人，丞相御史推薦說：「前昌邑王郎中令龔遂，德能兼備，可擔當此任。」宣帝於是任命龔遂為渤海太守。

當時龔遂已七十多歲，宣帝召見龔遂問他說：「渤海郡一片荒亂，我十分擔憂，你準備用甚麼方法平息那裏的盜賊呢？」龔遂回答：「渤海郡地處偏遠，沒有沾沐聖上的恩德教化，那裏的百姓為飢寒所迫，地方官又不知加以救濟，您的子民一時暫為不義之事，做了盜賊。我想用安撫的辦法。」宣帝聽了龔遂的回答很高興，說：「選賢良之臣前去，本來就是想對他們進行安撫。」特別賜給龔遂黃金，還為他增派了驛車。

龔遂到了渤海郡的地界後，郡府的官吏們聽說新上任的太守已到任了，便派兵迎接，而龔遂讓他們都回去，隻身赴任，並命令所屬的縣把專管追捕盜賊的官吏都撤除，那些手拿農具的人都是良民，官吏不得對他們問罪，攜帶兵器的人，才屬於盜賊，盜賊於是停止了活動。

渤海郡中還有一些結夥搶劫的人，聽到龔遂的命令後，便自動解散，放下了手裏的兵器而拿起了鋤頭等農具。這樣偷盜搶劫之事便都平息了，老百姓開始安居樂業。龔遂於是打開糧倉，把糧食借給貧民，還選任了一些好官吏對百姓實施安撫管理。

龔遂發現當地的民俗好追求奢侈的生活，不重視耕種田地。他便以身作則，追求儉樸的生活，鼓勵百姓務農，命令農家每人都種一株榆樹、一百根茭白、五十棵蔥、一畦韭菜，每家養兩頭母豬、五隻雞。百姓有持刀帶劍的，龔遂就勸喻說：「幹嗎不把劍賣了去買頭牛？」經過幾年治理，渤海郡內，家家有積蓄，官民都富裕起來，社會安定，百姓也不再打官司，龔遂名聲大振。

於是，宣帝招他還朝，當地的百姓們感激龔遂，大家都依依不捨。宣帝因為龔遂年老不能任公卿，於是拜為水衡都尉，把他留在身邊，一直都非常信任他。

正是因為龔遂注重品德修養，所以在任何時候能夠明辨是非，導人以正，推行德政，使盜變良民，可見德乃人之本，政之根，國之基！人無德不可立於世，如果上至君王大臣，下至黎民百姓，人人重德向善，自束其心，那麼必然會出現民富國強、社會繁榮、天下太平的盛世景象。