當時的御史唐介剛直無畏，他有一次上書請求罷免文彥博的宰相之職，說文彥博在益州時，曾經交通宮禁，送蜀錦給張貴妃，這樣才得以當上宰相。皇帝非常生唐介的氣，將唐介的奏折都扔了。當時文彥博也在殿上，唐介於是斥責文彥博說：「文彥博你應該自省，既然有這件事，就不要隱瞞。」文彥博不斷向唐介拜謝，承認了自己的過錯，並說願意讓位。皇帝非常震怒，於是將唐介貶到了英州，文彥博被罷了宰相之位，貶到了許州。

後來，文彥博又重新被恢復了相位。他對皇帝進諫說：「唐介身為御史，他說我的事，都說中了我的毛病，其間雖然有傳聞之誤，但當時責罰他還是太重了。」於是，唐介被召回了知諫院，恢復原職。

文彥博官居相位，在別人指責其過錯的時候，甚至可能是誤會，他不但沒有生氣，反而因為對方指出了自己的毛病而向對方不斷拜謝，並虛心改正。在官復原職後，他寬宏大量，不計私怨，反而替批評指責自己的人求情，當時的人們都稱視文彥博為德高望重的長者。