一次，衛靈公與夫人南子在宮中夜坐，聽到外面轔轔的車馬聲，快到宮門時聲音停了，過了一會又響了起來。南子說：「這一定是蘧伯玉。」靈公問：「你怎麼知道？」南子說：「我聽說，按照禮節，臣子過宮門要下車以表示尊敬。忠臣和孝子不會在大庭廣眾信誓旦旦，不會在黑暗中改變自己的操守。蘧伯玉是衛國品行端正的大夫，仁而有智，恭敬盡忠。他不會因為沒人看見就不遵守禮節的，應該是他了。」靈公派人去看，果然是蘧伯玉。

成語「伯玉知非」說的就是蘧伯玉，他非常謙虛恭謹，能夠時刻反省自己的過失和錯誤，並努力去改過。

蘧伯玉二十歲時，就能夠反省自己以前有很多的過失，並努力改過。到了二十一歲，發現自己還有很多過失需要改正。就這樣年復一年，日復一日，總是這樣不斷反省著自己，嚴格要求自己不斷上進。到了五十歲時，他發現自己四十九年來做的都很不好。

有一次，蘧伯玉派人到魯國看望孔子。孔子請來人坐，問他：「伯玉還好嗎？」那人說：「伯玉想減少自己的過錯，卻做不到。」那人走後。孔子對蘧伯玉和其使者大加讚賞。

衛靈公重用蘧伯玉這樣的賢德之臣，把衛國治理的日益強大。晉國大將趙簡子原想討伐衛國，派人到衛國探視。探視的人回來告訴趙簡子：「蘧伯在衛國當政，不可以加兵。」趙簡子於是便馬上取消了攻打衛國的計劃。

蘧伯玉雖已去世，但他的德行卻令後人欽佩不已。東漢文學家班昭作《東征賦》對其讚賞。到了唐朝，唐玄宗追封蘧伯玉為「衛伯」。後來宋真宗又追封其為「內黃侯」，在長垣建祠對他進行祭祀。祠內有「君子堂」、「及聖堂」、「知非軒」、「寡過軒」等。