於成龍少有大志，自幼受到儒家教育。順治十八年，已四十四歲的於成龍，不顧親朋的阻攔，拋妻別子，懷著“此行絕不以溫飽為志，誓勿昧天理良心”的抱負，到廣西羅城當第一任清朝知縣。羅城百廢待舉，少數民族雜居，世代械鬥。於成龍實施教化，並帶領百姓搞農業生產、興辦學校。短短幾年，就使羅城擺脫混亂，得到治理，百姓安居樂業。

羅城民眾憐憫於成龍獨身一人滯留南疆，晨夕環集問安，並嘆其度日過於清苦，進獻些金錢和物品。於成龍答謝說：“我一人何須如許物，可持歸易甘旨奉汝父母。”一次，大家得知於成龍家人自北方來探視，紛紛送物品給於成龍說：“公家人來，好將物安家去”，又饋贈金錢。於成龍答謝說：“此去吾家六千里，單人攜貨，適為累耳。”揮手令去，民皆伏地飲泣，於成龍亦為之感泣。

康熙六年，於成龍被兩廣總督蘆光祖舉薦為廣西唯一的“卓異”，升任四川合州知州。於成龍赴任時，竟連路費也沒有。百姓們依依不捨，遮道呼號：“公今去，我們無天矣！”出現了“追送數十里，哭而還”的情景。

四川遭戰亂最久，人口銳減為全國之首，於成龍推行善政，招民墾荒，革除宿弊。不到二年，合州人口驟增，田地開闢。康熙八年，於成龍被擢升為湖廣黃州府同知。他審案主張以教為主，“寬嚴並治”，排解了許多地方重大疑案、懸案，使冤假錯案得到平反，被百姓呼為“於青天”。由於政績突出，於成龍再次被湖廣巡撫張朝珍舉為“卓異”，升任福建按察使。

於成龍赴任時，依然一捆行囊，兩袖清風，沿途以蘿蔔為乾糧。在福建上任伊始，就做了一件為民稱頌的好事。當時清廷為對付台灣鄭氏的抗清勢力，實行了“海禁”政策。當地統治者不顧連年兵禍，民不聊生，動輒以“通海”罪名興起大獄，使許多沿海漁民罹難。於成龍在審閱案卷時，發現每案被擬極刑的就達數十人或上百人之多，甚至殃及婦女孺子。於是他堅決主張重審，對怕得罪上級而勸阻他的人說：“皇天在上，人命至重，吾誓不能咸阿從事！”在他的力爭和主持下，先後使千餘名百姓免遭屠戮而獲釋，貧困不能歸者還發給路費。於成龍在按察使任上被第三次舉為“卓異”。

康熙二十年，於成龍出任兩江總督。身為“治官之官”，於成龍始終把整頓吏治放在工作首位。他指出：“國家之安危在於人心之得失”，制訂了以“勤撫恤、慎刑法、絕賄賂、杜私派、嚴徵收、崇節儉”為內容的《新民官自省六戒》作為地方官的行為準則。他常常“微行”訪於民間，舉優劾貪，時人說凡他所到之處，“官吏望風改操”。他舉薦了很多廉潔有為的人材，都得到了康熙的重用。他還倡導廣興辦學，提高國民道德水準。

於成龍的官職雖越升越高，但生活卻儉樸如故。他帶頭實踐“為民上者，務須躬先儉樸，作百姓道德表率”。去直隸，他“屑糠雜米為粥，與同僕共食”，在江南是“日食粗糲一盂，粥糜一匙，侑以青菜，終年不知肉味。以節省之糧賑濟災民飢民。”江南人民因而親切的稱他“於青菜”。總督衙門的官吏在嚴格的約束下，“無茶可飲，採槐葉充之，日久，衙後槐樹，枝朗葉疏。”他天南地北為官二十餘年，不帶家眷，結髮妻闊別二十年後才得一見。他的志節清操享譽當時，據載，當他出任兩江總督的消息傳出後，南京布價驟然上漲，“金陵闔城盡換布衣，士大夫減驅從、尚節儉，盡改奢靡之風……奸佞人等不得不遷往他處。”

於成龍心為百姓，招致了一些權貴的不滿，這些人四處散布流言蜚語，大肆詆毀他。朝中有人藉機彈劾他，說他年老昏聵，越來越蛻化變質。康熙皇帝是一位有德的明君，深知於成龍是位好官，他沒有聽信讒言，進行了調查並詔命於成龍回奏申訴，核實後說：“朕廣泛聽取了眾人的評論，都稱讚於成龍廉潔如初。因為他剛正不阿，才會有壞人進讒言誣告他。做官像於成龍這樣的，天底下能有幾人呢？”康熙讓朝廷將於成龍的事蹟昭告天下，進行傳頌。

於成龍去世後，屬吏清點其遺物：床頭，僅靴、帶和綈袍一領；堂後，碎銀三兩，錢二千，其餘只有粟米、鹽、豆豉等物，人們無不感動落淚。百姓聞之，“士民萬人聚哭，家家繪像祭拜。”康熙親為其撰寫碑文，賜謚“清端”。

於成龍數十年如一日淡泊自甘，無論身為“七品縣令”還是封疆大吏，也無論身居窮鄉僻壤，還是魚米之鄉，清正廉儉，始終如一，位愈尊而操守愈厲，志節彌堅。他憐貧苦、賑災荒、平冤獄、肅吏治，以其身正為官一任，施惠一方。這一切源於他“誓勿昧天理良心”的善念，源於他高尚的道德修養。他一生的道德操行，證實了為官需清正廉潔這一古訓的深厚價值。