於成龍少有大志,自幼受到儒家教育。順治十八年,已四十四歲的於成龍,不顧親朋的阻攔,拋妻別子,懷著「此行絕不以溫飽為志,誓勿昧天理良心」的抱負,到廣西羅城當第一任清朝知縣。羅城百廢待舉,少數民族雜居,世代械鬥。於成龍實施教化,並帶領百姓搞農業生產、興辦學校。短短幾年,就使羅城擺脫混亂,得到治理,百姓安居樂業。
羅城民眾憐憫於成龍獨身一人滯留南疆,晨夕環集問安,並嘆其度日過於清苦,進獻些金錢和物品。於成龍答謝說:「我一人何須如許物,可持歸易甘旨奉汝父母。」一次,大家得知於成龍家人自北方來探視,紛紛送物品給於成龍說:「公家人來,好將物安家去」,又饋贈金錢。於成龍答謝說:「此去吾家六千里,單人攜貨,適為累耳。」揮手令去,民皆伏地飲泣,於成龍亦為之感泣。
康熙六年,於成龍被兩廣總督蘆光祖舉薦為廣西唯一的「卓異」,升任四川合州知州。於成龍赴任時,竟連路費也沒有。百姓們依依不捨,遮道呼號:「公今去,我們無天矣!」出現了「追送數十里,哭而還」的情景。
四川遭戰亂最久,人口銳減為全國之首,於成龍推行善政,招民墾荒,革除宿弊。不到二年,合州人口驟增,田地開闢。康熙八年,於成龍被擢升為湖廣黃州府同知。他審案主張以教為主,「寬嚴並治」,排解了許多地方重大疑案、懸案,使冤假錯案得到平反,被百姓呼為「於青天」。由於政績突出,於成龍再次被湖廣巡撫張朝珍舉為「卓異」,升任福建按察使。
於成龍赴任時,依然一捆行囊,兩袖清風,沿途以蘿蔔為乾糧。在福建上任伊始,就做了一件為民稱頌的好事。當時清廷為對付台灣鄭氏的抗清勢力,實行了「海禁」政策。當地統治者不顧連年兵禍,民不聊生,動輒以「通海」罪名興起大獄,使許多沿海漁民罹難。於成龍在審閱案卷時,發現每案被擬極刑的就達數十人或上百人之多,甚至殃及婦女孺子。於是他堅決主張重審,對怕得罪上級而勸阻他的人說:「皇天在上,人命至重,吾誓不能咸阿從事!」在他的力爭和主持下,先後使千餘名百姓免遭屠戮而獲釋,貧困不能歸者還發給路費。於成龍在按察使任上被第三次舉為「卓異」。
康熙二十年,於成龍出任兩江總督。身為「治官之官」,於成龍始終把整頓吏治放在工作首位。他指出:「國家之安危在於人心之得失」,制訂了以「勤撫恤、慎刑法、絕賄賂、杜私派、嚴徵收、崇節儉」為內容的《新民官自省六戒》作為地方官的行為準則。他常常「微行」訪於民間,舉優劾貪,時人說凡他所到之處,「官吏望風改操」。他舉薦了很多廉潔有為的人材,都得到了康熙的重用。他還倡導廣興辦學,提高國民道德水準。
於成龍的官職雖越升越高,但生活卻儉樸如故。他帶頭實踐「為民上者,務須躬先儉樸,作百姓道德表率」。去直隸,他「屑糠雜米為粥,與同僕共食」,在江南是「日食粗糲一盂,粥糜一匙,侑以青菜,終年不知肉味。以節省之糧賑濟災民飢民。」江南人民因而親切的稱他「於青菜」。總督衙門的官吏在嚴格的約束下,「無茶可飲,採槐葉充之,日久,衙後槐樹,枝朗葉疏。」他天南地北為官二十餘年,不帶家眷,結髮妻闊別二十年後才得一見。他的志節清操享譽當時,據載,當他出任兩江總督的消息傳出後,南京布價驟然上漲,「金陵闔城盡換布衣,士大夫減驅從、尚節儉,盡改奢靡之風……奸佞人等不得不遷往他處。」
於成龍心為百姓,招致了一些權貴的不滿,這些人四處散布流言蜚語,大肆詆毀他。朝中有人藉機彈劾他,說他年老昏聵,越來越蛻化變質。康熙皇帝是一位有德的明君,深知於成龍是位好官,他沒有聽信讒言,進行了調查並詔命於成龍回奏申訴,核實後說:「朕廣泛聽取了眾人的評論,都稱讚於成龍廉潔如初。因為他剛正不阿,才會有壞人進讒言誣告他。做官像於成龍這樣的,天底下能有幾人呢?」康熙讓朝廷將於成龍的事蹟昭告天下,進行傳頌。
於成龍去世後,屬吏清點其遺物:床頭,僅靴、帶和綈袍一領;堂後,碎銀三兩,錢二千,其餘只有粟米、鹽、豆豉等物,人們無不感動落淚。百姓聞之,「士民萬人聚哭,家家繪像祭拜。」康熙親為其撰寫碑文,賜謚「清端」。
於成龍數十年如一日淡泊自甘,無論身為「七品縣令」還是封疆大吏,也無論身居窮鄉僻壤,還是魚米之鄉,清正廉儉,始終如一,位愈尊而操守愈厲,志節彌堅。他憐貧苦、賑災荒、平冤獄、肅吏治,以其身正為官一任,施惠一方。這一切源於他「誓勿昧天理良心」的善念,源於他高尚的道德修養。他一生的道德操行,證實了為官需清正廉潔這一古訓的深厚價值。